顶部
收藏

大模型原理与应用


作者:
主审:鄂维南 主编:刘聪 张燕咏 丁宁 车万翔 陶建华
定价:
77.00 元
版面字数:
580千字
开本:
16开
装帧形式:
平装
版次:
1
最新版次
印刷时间:
2026年
ISBN:
978-7-04-065131-7
物料号:
65131-00
出版时间:
2025-10-20
读者对象:
高等教育
一级分类:
计算机/教育技术类
二级分类:
计算机类专业核心课程
三级分类:
人工智能

大语言模型(large language model,LLM)简称大模型,是一种可以生成自然语言文本或图像的概率模型。近年来,该技术快速发展,在全球范围内掀起热潮,并深刻地融入了社会经济与生活的各个方面。

本书基于作者团队对大模型的学术研究与工业实践编写而成,系统地阐述了大模型的基本原理、关键技术和场景应用,具体涵盖了与大模型相关的神经网络、语言模型基础,大模型的预训练、微调、强化学习等核心技术,以及多模态大模型,大模型评估、应用及前沿等。

本书全面而系统地介绍大模型相关知识,并提供实践的配套习题与课程资源,既可作为高等学校计算机大类人工智能等相关专业课程的教材,还可作为从事人工智能研究与应用的科研人员、企业技术人员以及其他相关人员的参考资料。

  • 目录
    • 前辅文
      • 第1章 绪论
        • 1.1 大模型的概念
          • 1.2 大模型技术的发展历史
            • 1.3 大模型的应用
              • 1.3.1 内容创作
                • 1.3.2 教育领域
                  • 1.3.3 企业客服
                    • 1.3.4 医疗领域
                      • 1.3.5 金融领域
                        • 1.3.6 软件开发
                        • 1.4 大模型的局限性与挑战
                          • 1.4.1 数据依赖性与偏见性
                            • 1.4.2 “幻觉”现象明显
                              • 1.4.3 复杂推理能力的不足
                                • 1.4.4 元认知能力的缺乏
                                  • 1.4.5 模糊性的挑战
                                    • 1.4.6 可解释性的缺乏
                                      • 1.4.7 计算资源的依赖
                                        • 1.4.8 创造性的局限
                                        • 1.5 大模型的发展趋势
                                          • 本章习题
                                          • 第2章 神经网络基础
                                            • 2.1 前馈神经网络
                                              • 2.1.1 神经元的生物学基础
                                                • 2.1.2 人工神经元模型
                                                  • 2.1.3 激活函数
                                                    • 2.1.4 前馈神经网络架构
                                                      • 2.1.5 神经网络优化算法
                                                        • 2.1.6 前馈神经网络的局限
                                                        • 2.2 卷积神经网络
                                                          • 2.2.1 卷积的基本概念
                                                            • 2.2.2 卷积神经网络基础
                                                              • 2.2.3 深度卷积神经网络
                                                                • 2.2.4 卷积神经网络的优点与局限
                                                                • 2.3 循环神经网络
                                                                  • 2.3.1 循环神经网络基础
                                                                    • 2.3.2 长短时记忆网络
                                                                      • 2.3.3 门控循环网络
                                                                        • 2.3.4 循环神经网络的优点与局限
                                                                        • 2.4 Transformer
                                                                          • 2.4.1 注意力机制
                                                                            • 2.4.2 自注意力机制
                                                                              • 2.4.3 多头注意力变体
                                                                                • 2.4.4 ResNet
                                                                                  • 2.4.5 位置编码
                                                                                    • 2.4.6 Transformer的模型架构
                                                                                      • 2.4.7 Transformer的优点与局限
                                                                                      • 2.5 神经网络的应用
                                                                                        • 2.5.1 卷积神经网络的应用
                                                                                          • 2.5.2 循环神经网络的应用
                                                                                            • 2.5.3 Transformer的应用
                                                                                            • 本章习题
                                                                                              • 参考文献
                                                                                              • 第3章 语言模型
                                                                                                • 3.1 语言模型的基本概念
                                                                                                  • 3.2 统计语言模型
                                                                                                    • 3.2.1 N元语言模型的基本概念
                                                                                                      • 3.2.2 N元语言模型的平滑
                                                                                                      • 3.3 词元化及词向量化
                                                                                                        • 3.3.1 词元化
                                                                                                          • 3.3.2 词向量化
                                                                                                          • 3.4 神经网络语言模型
                                                                                                            • 3.4.1 前馈神经网络语言模型
                                                                                                              • 3.4.2 循环神经网络语言模型
                                                                                                                • 3.4.3 Transformer语言模型
                                                                                                                  • 3.4.4 基于神经网络语言模型生成文本
                                                                                                                  • 3.5 语言模型性能评价
                                                                                                                    • 3.6 Transformer语言模型的实现
                                                                                                                      • 3.6.1 数据准备
                                                                                                                        • 3.6.2 Transformer语言模型结构
                                                                                                                          • 3.6.3 Transformer语言模型的训练
                                                                                                                            • 3.6.4 基于Transformer语言模型的文本生成
                                                                                                                            • 3.7 预训练语言模型
                                                                                                                              • 3.7.1 Decoder-only模型
                                                                                                                                • 3.7.2 Encoder-only模型
                                                                                                                                  • 3.7.3 Encoder-Decoder模型
                                                                                                                                    • 3.7.4 三种预训练语言模型的对比
                                                                                                                                    • 本章习题
                                                                                                                                      • 参考文献
                                                                                                                                      • 第4章 大模型的预训练
                                                                                                                                        • 4.1 大模型训练数据
                                                                                                                                          • 4.1.1 数据来源
                                                                                                                                            • 4.1.2 数据预处理
                                                                                                                                              • 4.1.3 数据对模型性能的影响
                                                                                                                                              • 4.2 大模型结构
                                                                                                                                                • 4.2.1 GPT
                                                                                                                                                  • 4.2.2 模型压缩与优化
                                                                                                                                                    • 4.2.3 新型模型架构
                                                                                                                                                    • 4.3 大模型预训练实践
                                                                                                                                                      • 4.3.1 实验目的
                                                                                                                                                        • 4.3.2 实验准备
                                                                                                                                                          • 4.3.3 实验步骤
                                                                                                                                                            • 4.3.4 实验改进
                                                                                                                                                            • 本章习题
                                                                                                                                                              • 参考文献
                                                                                                                                                              • 第5章 大模型的微调
                                                                                                                                                                • 5.1 提示学习工程
                                                                                                                                                                  • 5.1.1 提示学习
                                                                                                                                                                    • 5.1.2 上下文学习
                                                                                                                                                                      • 5.1.3 提示微调
                                                                                                                                                                      • 5.2 指令微调
                                                                                                                                                                        • 5.2.1 指令数据构建
                                                                                                                                                                          • 5.2.2 指令微调的训练
                                                                                                                                                                          • 5.3 参数高效微调
                                                                                                                                                                            • 5.3.1 微调原理
                                                                                                                                                                              • 5.3.2 LoRA
                                                                                                                                                                                • 5.3.3 LoRA变体
                                                                                                                                                                                  • 5.3.4 其他参数高效微调方法
                                                                                                                                                                                    • 5.3.5 参数高效微调方法总结
                                                                                                                                                                                      • 5.3.6 模型上下文窗口扩展
                                                                                                                                                                                      • 5.4 微调代码实践
                                                                                                                                                                                        • 5.4.1 提示微调的代码实践
                                                                                                                                                                                          • 5.4.2 指令微调的代码实践
                                                                                                                                                                                            • 5.4.3 参数高效微调的代码实践
                                                                                                                                                                                            • 5.5 大模型微调训练实践
                                                                                                                                                                                              • 5.5.1 实验目的
                                                                                                                                                                                                • 5.5.2 实验设置
                                                                                                                                                                                                  • 5.5.3 实验步骤
                                                                                                                                                                                                  • 本章习题
                                                                                                                                                                                                    • 参考文献
                                                                                                                                                                                                    • 第6章 大模型的强化学习
                                                                                                                                                                                                      • 6.1 基于人类反馈的强化学习
                                                                                                                                                                                                        • 6.1.1 强化学习概述
                                                                                                                                                                                                          • 6.1.2 基于人类反馈的强化学习概述
                                                                                                                                                                                                            • 6.1.3 有监督微调与基于人类反馈的强化学习的区别
                                                                                                                                                                                                            • 6.2 奖励模型
                                                                                                                                                                                                              • 6.2.1 人类反馈数据收集
                                                                                                                                                                                                                • 6.2.2 奖励模型的训练
                                                                                                                                                                                                                • 6.3 近端策略优化
                                                                                                                                                                                                                  • 6.3.1 策略梯度
                                                                                                                                                                                                                    • 6.3.2 近端策略优化算法
                                                                                                                                                                                                                      • 6.3.3 基于人类反馈的强化学习中的近端策略优化算法
                                                                                                                                                                                                                      • 6.4 RLHF的改进
                                                                                                                                                                                                                        • 6.4.1 基于AI反馈的强化学习RLAIF
                                                                                                                                                                                                                          • 6.4.2 直接偏好优化DPO
                                                                                                                                                                                                                            • 6.4.3 推理模型的强化学习
                                                                                                                                                                                                                            • 6.5 大模型中的强化学习实践代码
                                                                                                                                                                                                                              • 6.5.1 奖励模型训练
                                                                                                                                                                                                                                • 6.5.2 近端策略优化
                                                                                                                                                                                                                                • 6.6 大模型强化学习训练实践
                                                                                                                                                                                                                                  • 6.6.1 实验目的
                                                                                                                                                                                                                                    • 6.6.2 实验设置
                                                                                                                                                                                                                                      • 6.6.3 实验步骤
                                                                                                                                                                                                                                      • 本章习题
                                                                                                                                                                                                                                        • 参考文献
                                                                                                                                                                                                                                        • 第7章 多模态大模型
                                                                                                                                                                                                                                          • 7.1 多模态大模型概述
                                                                                                                                                                                                                                            • 7.1.1 多模态大模型基本概念
                                                                                                                                                                                                                                              • 7.1.2 多模态大模型架构
                                                                                                                                                                                                                                                • 7.1.3 多模态大模型的演进
                                                                                                                                                                                                                                                  • 7.1.4 多模态大模型的应用
                                                                                                                                                                                                                                                  • 7.2 多模态大模型的训练过程
                                                                                                                                                                                                                                                    • 7.2.1 多模态预训练
                                                                                                                                                                                                                                                      • 7.2.2 多模态指令调优
                                                                                                                                                                                                                                                      • 7.3 大模型轻量级适配方法
                                                                                                                                                                                                                                                        • 7.3.1 多模态大模型中的提示工程技术
                                                                                                                                                                                                                                                          • 7.3.2 多模态大模型的参数高效微调方法
                                                                                                                                                                                                                                                            • 7.3.3 领域特定知识的多模态注入策略
                                                                                                                                                                                                                                                            • 7.4 多模态大模型的应用任务
                                                                                                                                                                                                                                                              • 7.4.1 多模态问答理解
                                                                                                                                                                                                                                                                • 7.4.2 多模态混合生成
                                                                                                                                                                                                                                                                  • 7.4.3 多模态交互
                                                                                                                                                                                                                                                                  • 7.5 多模态大模型现状与展望
                                                                                                                                                                                                                                                                    • 7.5.1 关键技术和局限性
                                                                                                                                                                                                                                                                      • 7.5.2 未来发展方向
                                                                                                                                                                                                                                                                      • 7.6 多模态大模型训练实践
                                                                                                                                                                                                                                                                        • 7.6.1 实验目的
                                                                                                                                                                                                                                                                          • 7.6.2 实验设置
                                                                                                                                                                                                                                                                            • 7.6.3 实验步骤
                                                                                                                                                                                                                                                                              • 7.6.4 实验结果
                                                                                                                                                                                                                                                                              • 本章习题
                                                                                                                                                                                                                                                                                • 参考文献
                                                                                                                                                                                                                                                                                • 第8章 大模型评估
                                                                                                                                                                                                                                                                                  • 8.1 大模型评估的基本概念
                                                                                                                                                                                                                                                                                    • 8.1.1 大模型评估的定义
                                                                                                                                                                                                                                                                                      • 8.1.2 大模型评估的重要性
                                                                                                                                                                                                                                                                                      • 8.2 大模型评估的基本知识
                                                                                                                                                                                                                                                                                        • 8.2.1 评估维度
                                                                                                                                                                                                                                                                                          • 8.2.2 评估过程
                                                                                                                                                                                                                                                                                            • 8.2.3 评估指标
                                                                                                                                                                                                                                                                                            • 8.3 大模型评估基准
                                                                                                                                                                                                                                                                                              • 8.3.1 行业典型评估基准与指标
                                                                                                                                                                                                                                                                                                • 8.3.2 垂直领域的大模型评估
                                                                                                                                                                                                                                                                                                  • 8.3.3 大模型在不同任务上的评测结果案例
                                                                                                                                                                                                                                                                                                  • 8.4 大模型评估的前沿进展
                                                                                                                                                                                                                                                                                                    • 8.4.1 新型评测平台
                                                                                                                                                                                                                                                                                                      • 8.4.2 新型评估技术
                                                                                                                                                                                                                                                                                                      • 8.5 大模型评估的展望
                                                                                                                                                                                                                                                                                                        • 8.6 大模型评估训练实践
                                                                                                                                                                                                                                                                                                          • 8.6.1 大模型能力评估——以HELM平台为例
                                                                                                                                                                                                                                                                                                            • 8.6.2 个性化匿名对战评测——以Chatbot Arena平台为例
                                                                                                                                                                                                                                                                                                              • 8.6.3 大模型人工评估——以冰鉴平台为例
                                                                                                                                                                                                                                                                                                              • 本章习题
                                                                                                                                                                                                                                                                                                                • 参考文献
                                                                                                                                                                                                                                                                                                                • 第9章 大模型的应用
                                                                                                                                                                                                                                                                                                                  • 9.1 提示词工程
                                                                                                                                                                                                                                                                                                                    • 9.1.1 提示词工程基本概念
                                                                                                                                                                                                                                                                                                                      • 9.1.2 如何使用提示词工程
                                                                                                                                                                                                                                                                                                                        • 9.1.3 提示学习实战演练
                                                                                                                                                                                                                                                                                                                        • 9.2 大模型应用的典型任务
                                                                                                                                                                                                                                                                                                                          • 9.2.1 文本生成类
                                                                                                                                                                                                                                                                                                                            • 9.2.2 语言理解类
                                                                                                                                                                                                                                                                                                                              • 9.2.3 知识问答类
                                                                                                                                                                                                                                                                                                                                • 9.2.4 逻辑推理类
                                                                                                                                                                                                                                                                                                                                  • 9.2.5 代码理解及生成类
                                                                                                                                                                                                                                                                                                                                    • 9.2.6 多模态融合类
                                                                                                                                                                                                                                                                                                                                    • 9.3 智能体
                                                                                                                                                                                                                                                                                                                                      • 9.3.1 智能体的基本概念与发展历程
                                                                                                                                                                                                                                                                                                                                        • 9.3.2 大模型智能体介绍
                                                                                                                                                                                                                                                                                                                                          • 9.3.3 大模型智能体案例
                                                                                                                                                                                                                                                                                                                                            • 9.3.4 大模型智能体展望
                                                                                                                                                                                                                                                                                                                                            • 9.4 大模型的复杂行业应用
                                                                                                                                                                                                                                                                                                                                              • 9.4.1 多轮交互
                                                                                                                                                                                                                                                                                                                                                • 9.4.2 长文本生成
                                                                                                                                                                                                                                                                                                                                                  • 9.4.3 复杂推理
                                                                                                                                                                                                                                                                                                                                                  • 9.5 大模型的工程化
                                                                                                                                                                                                                                                                                                                                                    • 9.5.1 大模型训练框架
                                                                                                                                                                                                                                                                                                                                                      • 9.5.2 大模型推理框架
                                                                                                                                                                                                                                                                                                                                                        • 9.5.3 大模型训练与推理的国产加速卡适配
                                                                                                                                                                                                                                                                                                                                                        • 本章习题
                                                                                                                                                                                                                                                                                                                                                          • 参考文献
                                                                                                                                                                                                                                                                                                                                                          • 第10章 大模型的延伸
                                                                                                                                                                                                                                                                                                                                                            • 10.1 大模型前沿领域方向
                                                                                                                                                                                                                                                                                                                                                              • 10.1.1 多模态技术探索
                                                                                                                                                                                                                                                                                                                                                                • 10.1.2 人机交互
                                                                                                                                                                                                                                                                                                                                                                  • 10.1.3 推理决策
                                                                                                                                                                                                                                                                                                                                                                    • 10.1.4 科学探索
                                                                                                                                                                                                                                                                                                                                                                    • 10.2 视觉与语音大模型
                                                                                                                                                                                                                                                                                                                                                                      • 10.2.1 视觉大模型架构设计
                                                                                                                                                                                                                                                                                                                                                                        • 10.2.2 语音大模型关键技术
                                                                                                                                                                                                                                                                                                                                                                          • 10.2.3 视觉与语音大模型的预训练
                                                                                                                                                                                                                                                                                                                                                                          • 10.3 具身智能与大模型
                                                                                                                                                                                                                                                                                                                                                                            • 10.3.1 具身智能数据获取
                                                                                                                                                                                                                                                                                                                                                                              • 10.3.2 具身智能大模型
                                                                                                                                                                                                                                                                                                                                                                                • 10.3.3 具身智能应用场景
                                                                                                                                                                                                                                                                                                                                                                                • 10.4 AI4Science与大模型
                                                                                                                                                                                                                                                                                                                                                                                  • 10.4.1 科学问答
                                                                                                                                                                                                                                                                                                                                                                                    • 10.4.2 AI4Biology/AI+生物
                                                                                                                                                                                                                                                                                                                                                                                      • 10.4.3 AI4Meteorology/AI+气象
                                                                                                                                                                                                                                                                                                                                                                                      • 10.5 大模型的挑战与展望
                                                                                                                                                                                                                                                                                                                                                                                        • 10.5.1 大模型伦理与社会安全
                                                                                                                                                                                                                                                                                                                                                                                          • 10.5.2 大模型的机理、架构及应用
                                                                                                                                                                                                                                                                                                                                                                                          • 本章习题
                                                                                                                                                                                                                                                                                                                                                                                            • 参考文献

                                                                                                                                                                                                                                                                                                                                                                                          相关图书