沈阳工业大学图书馆书目检索系统

Online Public Access Catalogue

题名/责任者:

ChatGPT原理与架构:大模型的预训练、迁移和中间件编程/程戈著

出版发行项:

北京:机械工业出版社,2023

ISBN及定价:

978-7-111-73956-2/CNY99.00

载体形态项:

210页:图;24cm

其它题名:

大模型的预训练、迁移和中间件编程

丛编项:

智能系统与技术丛书

个人责任者:

程戈 著

学科主题:

人工智能

中图法分类号:

TP18

责任者附注:

程戈, 博士生导师, 湘潭大学计算机学院·网络空间安全学院教授, 湘潭大学技术转移中心副主任, 湘潭市京东智能城市与大数据研究院副院长, 智慧司法与数字治理湖南省重点实验室副主任, CCF计算法学会执委。

提要文摘附注:

本书共11章, 第1章深入分析了大语言模型的技术演化、技术栈等。第2章详细阐述了Transformer模型的理论基础和主要组件。第3章深入解析了GPT的生成式预训练的过程和原理。第4章主要探讨了GPT-2的层归一化、正交初始化和可逆的分词方法等技术, 并详细分析了GPT-2的自回归生成过程。第5章介绍了GPT-3的稀疏注意力模式、元学习和基于内容的学习等技术, 并对贝叶斯推断在概念分布中的应用进行了深入讨论。第6章详细介绍了大语言模型的预训练数据集和数据处理方法, 同时阐述了分布式训练模式和技术路线。第7章深入解析了PPO算法的基本原理。第8章主要阐述了人类反馈强化学习的微调数据集以及PPO在InstructGPT中的应用。第9章深入探讨了大语言模型在低算力环境中的应用策略。第10章主要介绍了在大语言模型开发中涉及的中间件编程技术。第11章对大语言模型的发展趋势进行了预测和展望。

豆瓣简介：