图书信息
图书目录
大数据智能——大语言模型
本书是大数据新兴领域“十四五”高等教育教材。本书展现了大语言模型技术的整体框架和路线图，内容讲解力求简明、准确、实用，旨在为相关行业提供大模型技术的中文参考资料，推动我国相关人工智能技术的发展。全书共13章，内容涉及大模型的背景与基础知识、预训练、微调与对齐、模型使用、评测与资源等，同时提供了相关代码示例与实验工具包。
本书可供具有深度学习基础的读者阅读与使用，既可作为高等学校人工智能、大数据、计算机类专业教材，也可作为相关从业与研究人员的参考用书。
作者：
赵鑫 李军毅 周昆 唐天一 文继荣 编著
定价：
48.00元
出版时间：
2025-06-10
ISBN：
978-7-04-064435-7
物料号：
64435-00
读者对象：
高等教育
一级分类：
计算机/教育技术类
二级分类：
计算机类专业核心课程
三级分类：
人工智能
重点项目：
暂无
版面字数：
480.00千字
开本：
16开
全书页数：
暂无
装帧形式：
平装
- 前辅文
- 第一部分 背景与基础知识
- 第1章 引言
- 1.1 语言模型的发展历程
- 1.2 大语言模型的能力特点
- 1.3 大语言模型关键技术概览
- 1.4 大语言模型对科技发展的影响
- 1.5 本书的内容组织
- 1.6 本书配套资源说明
- 第2章 基础介绍
- 2.1 大语言模型的构建过程
- 2.1.1 大规模预训练
- 2.1.2 指令微调与人类对齐
- 2.2 扩展定律
- 2.2.1 KM扩展定律
- 2.2.2 Chinchilla扩展定律
- 2.2.3 关于扩展定律的讨论
- 2.3 涌现能力
- 2.3.1 代表性的涌现能力
- 2.3.2 涌现能力与扩展定律的关系
- 2.4 GPT系列模型的技术演变
- 2.4.1 早期探索
- 2.4.2 规模扩展
- 2.4.3 能力增强
- 2.4.4 性能跃升
- 习题
- 2.1 大语言模型的构建过程
- 第1章 引言
- 第二部分 预训练
- 第3章 数据准备
- 3.1 数据来源
- 3.1.1 通用文本数据
- 3.1.2 专用文本数据
- 3.2 数据预处理
- 3.2.1 质量过滤
- 3.2.2 敏感内容过滤
- 3.2.3 数据去重
- 3.2.4 数据对预训练效果的影响
- 3.2.5 数据预处理实践
- 3.3 词元化（分词）
- 3.3.1 BPE分词
- 3.3.2 WordPiece分词
- 3.3.3 Unigram分词
- 3.3.4 分词器的选用
- 3.4 数据调度
- 3.4.1 数据混合
- 3.4.2 数据课程
- 3.4.3 预训练数据准备概述——以YuLan模型为例
- 习题
- 3.1 数据来源
- 第4章 模型架构
- 4.1 Transformer模型
- 4.1.1 输入编码层
- 4.1.2 名头注意力层
- 4.1.3 前馈网络层
- 4.1.4 编码器
- 4.1.5 解码器
- 4.2 详细配置
- 4.2.1 归一化方法
- 4.2.2 归一化模块位置
- 4.2.3 激活函数
- 4.2.4 位置编码
- 4.2.5 注意力机制
- 4.2.6 混合专家模型
- 4.2.7 LLaMA的详细配置
- 4.3 主流架构
- 4.3.1 编码器-解码器架构
- 4.3.2 因果解码器架构
- 4.3.3 前缀解码器架构
- 4.4 长上下文模型
- 4.4.1 位置编码扩展
- 4.4.2 上下文窗口调整
- 4.4.3 长文本数据
- 4.5 新型模型架构
- 4.5.1 参数化状态空间模型
- 4.5.2 状态空间模型变种
- 习题
- 4.1 Transformer模型
- 第5章 模型预训练
- 5.1 预训练任务
- 5.1.1 语言建模
- 5.1.2 去噪自编码
- 5.1.3 混合去噪器
- 5.2 优化参数设置
- 5.2.1 基于批次数据的训练
- 5.2.2 学习率
- 5.2.3 优化器
- 5.2.4 稳定优化技术
- 5.3 可扩展的训练技术
- 5.3.1 3D并行训练
- 5.3.2 零冗余优化器
- 5.3.3 激活重计算
- 5.3.4 混合精度训练
- 5.4 模型参数量计算与效率分析
- 5.4.1 参数量计算
- 5.4.2 训练运算量估计
- 5.4.3 训练时间估计
- 5.4.4 训练显存估计
- 5.5 预训练代码实践
- 习题
- 5.1 预训练任务
- 第3章 数据准备
- 第三部分 微调与对齐
- 第6章 指令微调
- 6.1 指令数据的构建
- 6.1.1 基于现有的NLP任务数据集构建
- 6.1.2 基于日常对话数据构建
- 6.1.3 基于合成数据构建
- 6.1.4 指令数据构建的提升方法
- 6.1.5 指令微调的作用
- 6.2 指令微调的训练策略
- 6.2.1 优化设置
- 6.2.2 数据组织策略
- 6.3 参数高效的模型微调
- 6.3.1 低秩适配微调方法
- 6.3.2 其他高效微调方法
- 6.4 代码实践与分析
- 6.4.1 指令微调的代码实践
- 6.4.2 指令微调的实验性分析
- 6.4.3 LoRA代码实践与分析
- 习题
- 6.1 指令数据的构建
- 第7章 人类对齐
- 7.1 人类对齐的背景与标准
- 7.1.1 背景
- 7.1.2 对齐标准
- 7.2 基于人类反馈的强化学习
- 7.2.1 RLHF概述
- 7.2.2 人类反馈数据的收集
- 7.2.3 奖励模型的训练
- 7.2.4 强化学习训练
- 7.2.5 代表性RLHF工作介绍
- 7.2.6 进阶RLHF方法介绍
- 7.3 非强化学习的对齐方法
- 7.3.1 代表性监督对齐算法DPO
- 7.3.2 其他有监督对齐算法
- 7.4 关于SFT和RLHF的进一步讨论
- 7.4.1 基于学习方式的总体比较
- 7.4.2 SFT的优缺点
- 7.4.3 RLHF的优缺点
- 7.5 幻象
- 7.5.1 幻象的定义与分类
- 7.5.2 幻象的生成原因
- 7.5.3 幻象的检测方法
- 7.5.4 幻象的消除方法
- 习题
- 7.1 人类对齐的背景与标准
- 第6章 指令微调
- 第四部分 模型使用
- 第8章 解码与部署
- 8.1 解码策略
- 8.1.1 背景
- 8.1.2 贪心搜索的改进
- 8.1.3 随机采样的改进策略
- 8.1.4 实际使用设置
- 8.2 解码加速算法
- 8.2.1 解码效率分析
- 8.2.2 系统级优化
- 8.2.3 解码策略优化
- 8.2.4 解码方法实践
- 8.3 低资源部署策略
- 8.3.1 量化基础知识
- 8.3.2 训练后量化方法
- 8.3.3 经验性分析与相关结论
- 8.4 其他模型压缩方法
- 8.4.1 模型蒸馏
- 8.4.2 模型剪枝
- 习题
- 8.1 解码策略
- 第9章 提示学习
- 9.1 基础提示
- 9.1.1 人工提示设计
- 9.1.2 自动提示优化
- 9.2 上下文学习
- 9.2.1 上下文学习的形式化定义
- 9.2.2 示例设计
- 9.2.3 底层机制
- 9.3 思维链提示
- 9.3.1 思维链提示的基本形式
- 9.3.2 思维链提示的优化策略
- 9.3.3 关于思维链的进一步讨论
- 9.4 检索增强生成
- 9.4.1 检索增强生成的基本流程
- 9.4.2 检索增强生成的优化策略
- 习题
- 9.1 基础提示
- 第10章 规划与智能体
- 10.1 基于大语言模型的规划
- 10.1.1 整体框架
- 10.1.2 方案生成
- 10.1.3 反馈获取
- 10.2 基于大语言模型的智能体
- 10.2.1 智能体概述
- 10.2.2 大语言模型智能体的构建
- 10.2.3 多智能体系统的构建
- 10.2.4 大语言模型智能体的典型应用
- 10.2.5待解决的关键技术问题
- 习题
- 10.1 基于大语言模型的规划
- 第8章 解码与部署
- 第五部分 评测与资源
- 第11章 模型评测
- 11.1 评测指标与评测方法
- 11.1.1 常见评测指标
- 11.1.2 评测范式与方法
- 11.2 基础能力评测
- 11.2.1 语言生成
- 11.2.2 知识利用
- 11.2.3 复杂推理
- 11.3 高级能力评测
- 11.3.1 人类对齐
- 11.3.2 环境交互
- 11.3.3 工具使用
- 11.4 公开综合评测体系
- 11.4.1 MMLU
- 11.4.2 BIG-Bench
- 11.4.3 HELM
- 11.4.4 C-Eval
- 11.4.5 其他评测数据集与资源
- 11.4.6 公开评测资源选择参考
- 11.4.7 评测代码实践
- 习题
- 11.1 评测指标与评测方法
- 第12章 模型资源
- 12.1 公开可用的模型检查点
- 12.1.1 公开可用的通用大语言模型检查点
- 12.1.2 LLaMA本休系列
- 12.2 常用的预训练数据集
- 12.2.1 网页
- 12.2.2 书籍与论文
- 12.2.3 维基百科
- 12.2.4 代码
- 12.2.5 混合型数据集
- 12.3 常用的微调数据集
- 12.3.1 指令微调数据集
- 12.3.2 人类对齐数据集
- 12.4 代码库资源
- 12.4.1 Hugging Face开源社区
- 12.4.2 DeepSpeed
- 12.4.3 Megatron-LM
- 12.1 公开可用的模型检查点
- 第13章 总结
- 第11章 模型评测
- 参考文献
相关图书
1