顶部
收藏

大模型原理与应用


作者:
主审:鄂维南 主编:刘聪 张燕咏 丁宁 车万翔 陶建华
定价:
77.00元
ISBN:
978-7-04-065131-7
版面字数:
580.00千字
开本:
16开
全书页数:
暂无
装帧形式:
平装
重点项目:
暂无
出版时间:
2025-10-20
物料号:
65131-00
读者对象:
高等教育
一级分类:
计算机/教育技术类
二级分类:
计算机类专业核心课程
三级分类:
人工智能

大语言模型(large language model,LLM)简称大模型,是一种可以生成自然语言文本或图像的概率模型。近年来,该技术快速发展,在全球范围内掀起热潮,并深刻地融入了社会经济与生活的各个方面。

本书基于作者团队对大模型的学术研究与工业实践编写而成,系统地阐述了大模型的基本原理、关键技术和场景应用,具体涵盖了与大模型相关的神经网络、语言模型基础,大模型的预训练、微调、强化学习等核心技术,以及多模态大模型,大模型评估、应用及前沿等。

本书全面而系统地介绍大模型相关知识,并提供实践的配套习题与课程资源,既可作为高等学校计算机大类人工智能等相关专业课程的教材,还可作为从事人工智能研究与应用的科研人员、企业技术人员以及其他相关人员的参考资料。

  • 前辅文
  • 第1章 绪论
    • 1.1 大模型的概念
    • 1.2 大模型技术的发展历史
    • 1.3 大模型的应用
      • 1.3.1 内容创作
      • 1.3.2 教育领域
      • 1.3.3 企业客服
      • 1.3.4 医疗领域
      • 1.3.5 金融领域
      • 1.3.6 软件开发
    • 1.4 大模型的局限性与挑战
      • 1.4.1 数据依赖性与偏见性
      • 1.4.2 “幻觉”现象明显
      • 1.4.3 复杂推理能力的不足
      • 1.4.4 元认知能力的缺乏
      • 1.4.5 模糊性的挑战
      • 1.4.6 可解释性的缺乏
      • 1.4.7 计算资源的依赖
      • 1.4.8 创造性的局限
    • 1.5 大模型的发展趋势
    • 本章习题
  • 第2章 神经网络基础
    • 2.1 前馈神经网络
      • 2.1.1 神经元的生物学基础
      • 2.1.2 人工神经元模型
      • 2.1.3 激活函数
      • 2.1.4 前馈神经网络架构
      • 2.1.5 神经网络优化算法
      • 2.1.6 前馈神经网络的局限
    • 2.2 卷积神经网络
      • 2.2.1 卷积的基本概念
      • 2.2.2 卷积神经网络基础
      • 2.2.3 深度卷积神经网络
      • 2.2.4 卷积神经网络的优点与局限
    • 2.3 循环神经网络
      • 2.3.1 循环神经网络基础
      • 2.3.2 长短时记忆网络
      • 2.3.3 门控循环网络
      • 2.3.4 循环神经网络的优点与局限
    • 2.4 Transformer
      • 2.4.1 注意力机制
      • 2.4.2 自注意力机制
      • 2.4.3 多头注意力变体
      • 2.4.4 ResNet
      • 2.4.5 位置编码
      • 2.4.6 Transformer的模型架构
      • 2.4.7 Transformer的优点与局限
    • 2.5 神经网络的应用
      • 2.5.1 卷积神经网络的应用
      • 2.5.2 循环神经网络的应用
      • 2.5.3 Transformer的应用
    • 本章习题
    • 参考文献
  • 第3章 语言模型
    • 3.1 语言模型的基本概念
    • 3.2 统计语言模型
      • 3.2.1 N元语言模型的基本概念
      • 3.2.2 N元语言模型的平滑
    • 3.3 词元化及词向量化
      • 3.3.1 词元化
      • 3.3.2 词向量化
    • 3.4 神经网络语言模型
      • 3.4.1 前馈神经网络语言模型
      • 3.4.2 循环神经网络语言模型
      • 3.4.3 Transformer语言模型
      • 3.4.4 基于神经网络语言模型生成文本
    • 3.5 语言模型性能评价
    • 3.6 Transformer语言模型的实现
      • 3.6.1 数据准备
      • 3.6.2 Transformer语言模型结构
      • 3.6.3 Transformer语言模型的训练
      • 3.6.4 基于Transformer语言模型的文本生成
    • 3.7 预训练语言模型
      • 3.7.1 Decoder-only模型
      • 3.7.2 Encoder-only模型
      • 3.7.3 Encoder-Decoder模型
      • 3.7.4 三种预训练语言模型的对比
    • 本章习题
    • 参考文献
  • 第4章 大模型的预训练
    • 4.1 大模型训练数据
      • 4.1.1 数据来源
      • 4.1.2 数据预处理
      • 4.1.3 数据对模型性能的影响
    • 4.2 大模型结构
      • 4.2.1 GPT
      • 4.2.2 模型压缩与优化
      • 4.2.3 新型模型架构
    • 4.3 大模型预训练实践
      • 4.3.1 实验目的
      • 4.3.2 实验准备
      • 4.3.3 实验步骤
      • 4.3.4 实验改进
    • 本章习题
    • 参考文献
  • 第5章 大模型的微调
    • 5.1 提示学习工程
      • 5.1.1 提示学习
      • 5.1.2 上下文学习
      • 5.1.3 提示微调
    • 5.2 指令微调
      • 5.2.1 指令数据构建
      • 5.2.2 指令微调的训练
    • 5.3 参数高效微调
      • 5.3.1 微调原理
      • 5.3.2 LoRA
      • 5.3.3 LoRA变体
      • 5.3.4 其他参数高效微调方法
      • 5.3.5 参数高效微调方法总结
      • 5.3.6 模型上下文窗口扩展
    • 5.4 微调代码实践
      • 5.4.1 提示微调的代码实践
      • 5.4.2 指令微调的代码实践
      • 5.4.3 参数高效微调的代码实践
    • 5.5 大模型微调训练实践
      • 5.5.1 实验目的
      • 5.5.2 实验设置
      • 5.5.3 实验步骤
    • 本章习题
    • 参考文献
  • 第6章 大模型的强化学习
    • 6.1 基于人类反馈的强化学习
      • 6.1.1 强化学习概述
      • 6.1.2 基于人类反馈的强化学习概述
      • 6.1.3 有监督微调与基于人类反馈的强化学习的区别
    • 6.2 奖励模型
      • 6.2.1 人类反馈数据收集
      • 6.2.2 奖励模型的训练
    • 6.3 近端策略优化
      • 6.3.1 策略梯度
      • 6.3.2 近端策略优化算法
      • 6.3.3 基于人类反馈的强化学习中的近端策略优化算法
    • 6.4 RLHF的改进
      • 6.4.1 基于AI反馈的强化学习RLAIF
      • 6.4.2 直接偏好优化DPO
      • 6.4.3 推理模型的强化学习
    • 6.5 大模型中的强化学习实践代码
      • 6.5.1 奖励模型训练
      • 6.5.2 近端策略优化
    • 6.6 大模型强化学习训练实践
      • 6.6.1 实验目的
      • 6.6.2 实验设置
      • 6.6.3 实验步骤
    • 本章习题
    • 参考文献
  • 第7章 多模态大模型
    • 7.1 多模态大模型概述
      • 7.1.1 多模态大模型基本概念
      • 7.1.2 多模态大模型架构
      • 7.1.3 多模态大模型的演进
      • 7.1.4 多模态大模型的应用
    • 7.2 多模态大模型的训练过程
      • 7.2.1 多模态预训练
      • 7.2.2 多模态指令调优
    • 7.3 大模型轻量级适配方法
      • 7.3.1 多模态大模型中的提示工程技术
      • 7.3.2 多模态大模型的参数高效微调方法
      • 7.3.3 领域特定知识的多模态注入策略
    • 7.4 多模态大模型的应用任务
      • 7.4.1 多模态问答理解
      • 7.4.2 多模态混合生成
      • 7.4.3 多模态交互
    • 7.5 多模态大模型现状与展望
      • 7.5.1 关键技术和局限性
      • 7.5.2 未来发展方向
    • 7.6 多模态大模型训练实践
      • 7.6.1 实验目的
      • 7.6.2 实验设置
      • 7.6.3 实验步骤
      • 7.6.4 实验结果
    • 本章习题
    • 参考文献
  • 第8章 大模型评估
    • 8.1 大模型评估的基本概念
      • 8.1.1 大模型评估的定义
      • 8.1.2 大模型评估的重要性
    • 8.2 大模型评估的基本知识
      • 8.2.1 评估维度
      • 8.2.2 评估过程
      • 8.2.3 评估指标
    • 8.3 大模型评估基准
      • 8.3.1 行业典型评估基准与指标
      • 8.3.2 垂直领域的大模型评估
      • 8.3.3 大模型在不同任务上的评测结果案例
    • 8.4 大模型评估的前沿进展
      • 8.4.1 新型评测平台
      • 8.4.2 新型评估技术
    • 8.5 大模型评估的展望
    • 8.6 大模型评估训练实践
      • 8.6.1 大模型能力评估——以HELM平台为例
      • 8.6.2 个性化匿名对战评测——以Chatbot Arena平台为例
      • 8.6.3 大模型人工评估——以冰鉴平台为例
    • 本章习题
    • 参考文献
  • 第9章 大模型的应用
    • 9.1 提示词工程
      • 9.1.1 提示词工程基本概念
      • 9.1.2 如何使用提示词工程
      • 9.1.3 提示学习实战演练
    • 9.2 大模型应用的典型任务
      • 9.2.1 文本生成类
      • 9.2.2 语言理解类
      • 9.2.3 知识问答类
      • 9.2.4 逻辑推理类
      • 9.2.5 代码理解及生成类
      • 9.2.6 多模态融合类
    • 9.3 智能体
      • 9.3.1 智能体的基本概念与发展历程
      • 9.3.2 大模型智能体介绍
      • 9.3.3 大模型智能体案例
      • 9.3.4 大模型智能体展望
    • 9.4 大模型的复杂行业应用
      • 9.4.1 多轮交互
      • 9.4.2 长文本生成
      • 9.4.3 复杂推理
    • 9.5 大模型的工程化
      • 9.5.1 大模型训练框架
      • 9.5.2 大模型推理框架
      • 9.5.3 大模型训练与推理的国产加速卡适配
    • 本章习题
    • 参考文献
  • 第10章 大模型的延伸
    • 10.1 大模型前沿领域方向
      • 10.1.1 多模态技术探索
      • 10.1.2 人机交互
      • 10.1.3 推理决策
      • 10.1.4 科学探索
    • 10.2 视觉与语音大模型
      • 10.2.1 视觉大模型架构设计
      • 10.2.2 语音大模型关键技术
      • 10.2.3 视觉与语音大模型的预训练
    • 10.3 具身智能与大模型
      • 10.3.1 具身智能数据获取
      • 10.3.2 具身智能大模型
      • 10.3.3 具身智能应用场景
    • 10.4 AI4Science与大模型
      • 10.4.1 科学问答
      • 10.4.2 AI4Biology/AI+生物
      • 10.4.3 AI4Meteorology/AI+气象
    • 10.5 大模型的挑战与展望
      • 10.5.1 大模型伦理与社会安全
      • 10.5.2 大模型的机理、架构及应用
    • 本章习题
    • 参考文献

相关图书