顶部
收藏

最优化:建模、算法与理论


作者:
刘浩洋,户将,李勇锋,文再文
定价:
65.00元
ISBN:
978-7-04-055035-1
版面字数:
630.000千字
开本:
16开
全书页数:
暂无
装帧形式:
平装
重点项目:
暂无
出版时间:
2020-12-31
读者对象:
高等教育
一级分类:
数学与统计学类
二级分类:
信息与计算科学专业课
三级分类:
最优化方法

本书介绍了最优化的基本概念、典型案例、基本理论和优化算法。典型案例来自数据科学、机器学习、人工智能、图像和信号处理等领域,基本理论涵盖最优解的存在性和唯一性、各类优化问题的一阶或二阶最优性条件、对偶理论等,优化算法包括无约束优化算法、约束优化算法、复合优化算法。全书案例丰富,理论翔实,展现了最优化的“实践—算法—理论—实践”这一特点。书中配备了适量的习题,这些习题难易兼顾、层次分明,为正文的内容提供补充,并可检验读者的学习效果。

本书可作为高等学校数据科学专业的教材或参考书,供研究生和本科高年级学生使用,也可供从事运筹学、计算数学、图像和信号处理、机器学习、人工智能等领域的科技工作者参考。

  • 前辅文
  • 第一章 最优化简介
    • 1.1 最优化问题概括
      • 1.1.1 最优化问题的一般形式
      • 1.1.2 最优化问题的类型与应用背景
    • 1.2 实例:稀疏优化
    • 1.3 实例:低秩矩阵恢复
    • 1.4 实例:深度学习
    • 1.5 最优化的基本概念
      • 1.5.1 连续和离散优化问题
      • 1.5.2 无约束和约束优化问题
      • 1.5.3 随机和确定性优化问题
      • 1.5.4 线性和非线性规划问题
      • 1.5.5 凸和非凸优化问题
      • 1.5.6 全局和局部最优解
      • 1.5.7 优化算法
    • 1.6 总结
    • 习题1
  • 第二章 基础知识
    • 2.1 范数
      • 2.1.1 向量范数
      • 2.1.2 矩阵范数
      • 2.1.3 矩阵内积
    • 2.2 导数
      • 2.2.1 梯度与海瑟矩阵
      • 2.2.2 矩阵变量函数的导数
      • 2.2.3 自动微分
    • 2.3 广义实值函数
      • 2.3.1 适当函数
      • 2.3.2 闭函数
    • 2.4 凸集
      • 2.4.1 凸集相关定义
      • 2.4.2 重要的凸集
      • 2.4.3 保凸的运算
      • 2.4.4 分离超平面定理
    • 2.5 凸函数
      • 2.5.1 凸函数的定义
      • 2.5.2 凸函数判定定理
      • 2.5.3 保凸的运算
      • 2.5.4 凸函数的性质
    • 2.6 共轭函数
      • 2.6.1 共轭函数的定义和例子
      • 2.6.2 二次共轭函数
    • 2.7 次梯度
      • 2.7.1 次梯度的定义
      • 2.7.2 次梯度的性质
      • 2.7.3 凸函数的方向导数
      • 2.7.4 次梯度的计算规则
    • 2.8 总结
    • 习题2
  • 第三章 优化建模
    • 3.1 建模技术
      • 3.1.1 目标函数的设计
      • 3.1.2 约束的设计
    • 3.2 回归分析
      • 3.2.1 概述
      • 3.2.2 线性回归模型
      • 3.2.3 正则化线性回归模型
    • 3.3 逻辑回归
    • 3.4 支持向量机
    • 3.5 概率图模型
    • 3.6 相位恢复
    • 3.7 主成分分析
    • 3.8 矩阵分离问题
    • 3.9 字典学习
    • 3.10 K-均值聚类
    • 3.11 图像处理中的全变差模型
    • 3.12 小波模型
    • 3.13 强化学习
    • 3.14 总结
    • 习题3
  • 第四章 典型优化问题
    • 4.1 线性规划
      • 4.1.1 基本形式和应用背景
      • 4.1.2 应用举例
    • 4.2 最小二乘问题
      • 4.2.1 基本形式和应用背景
      • 4.2.2 应用举例
    • 4.3 复合优化问题
      • 4.3.1 基本形式和应用背景
      • 4.3.2 应用举例
    • 4.4 随机优化问题
      • 4.4.1 基本形式和应用背景
      • 4.4.2 应用举例
    • 4.5 半定规划
      • 4.5.1 基本形式和应用背景
      • 4.5.2 应用举例
    • 4.6 矩阵优化
      • 4.6.1 基本形式和应用背景
      • 4.6.2 应用举例
    • 4.7 整数规划
      • 4.7.1 基本形式和应用背景
      • 4.7.2 应用举例
    • 4.8 典型优化算法软件介绍
    • 4.9 优化模型语言
      • 4.9.1 CVX
      • 4.9.2 AMPL
    • 4.10 总结
    • 习题4
  • 第五章 最优性理论
    • 5.1 最优化问题解的存在性
    • 5.2 无约束可微问题的最优性理论
      • 5.2.1 一阶最优性条件
      • 5.2.2 二阶最优性条件
      • 5.2.3 实例
    • 5.3 无约束不可微问题的最优性理论
      • 5.3.1 凸优化问题一阶充要条件
      • 5.3.2 复合优化问题的一阶必要条件
      • *5.3.3 非光滑非凸问题的最优性条件
      • 5.3.4 实例
    • 5.4 对偶理论
      • 5.4.1 拉格朗日函数与对偶问题
      • 5.4.2 带广义不等式约束优化问题的对偶
      • 5.4.3 实例
    • 5.5 一般约束优化问题的最优性理论
      • 5.5.1 一阶最优性条件
      • 5.5.2 二阶最优性条件
    • 5.6 带约束凸优化问题的最优性理论
      • 5.6.1 Slater约束品性与强对偶原理
      • 5.6.2 一阶充要条件
      • *5.6.3 一阶充要条件:必要性的证明
    • 5.7 约束优化最优性理论应用实例
      • 5.7.1 仿射空间的投影问题
      • 5.7.2 线性规划问题
      • 5.7.3 基追踪
      • 5.7.4 最大割问题的半定规划松弛及其非凸分解模型
    • 5.8 总结
    • 习题5
  • 第六章 无约束优化算法
    • 6.1 线搜索方法
      • 6.1.1 线搜索准则
      • 6.1.2 线搜索算法
      • 6.1.3 收敛性分析
    • 6.2 梯度类算法
      • 6.2.1 梯度下降法
      • 6.2.2 Barzilar-Borwein方法
      • 6.2.3 应用举例
    • 6.3 次梯度算法
      • 6.3.1 次梯度算法结构
      • 6.3.2 收敛性分析
      • 6.3.3 应用举例
    • 6.4 牛顿类算法
      • 6.4.1 经典牛顿法
      • 6.4.2 收敛性分析
      • 6.4.3 修正牛顿法
      • 6.4.4 非精确牛顿法
      • 6.4.5 应用举例
    • 6.5 拟牛顿类算法
      • 6.5.1 割线方程
      • 6.5.2 拟牛顿矩阵更新方式
      • 6.5.3 拟牛顿法的全局收敛性
      • 6.5.4 有限内存BFGS方法
      • 6.5.5 应用举例
    • 6.6 信赖域算法
      • 6.6.1 信赖域算法框架
      • 6.6.2 信赖域子问题求解
      • 6.6.3 收敛性分析
      • 6.6.4 应用举例
    • 6.7 非线性最小二乘问题算法
      • 6.7.1 非线性最小二乘问题
      • 6.7.2 高斯-牛顿算法
      • 6.7.3 Levenberg-Marquardt方法
      • 6.7.4 大残量问题的拟牛顿法
      • 6.7.5 应用举例
    • 6.8 总结
    • 习题6
  • 第七章 约束优化算法
    • 7.1 罚函数法
      • 7.1.1 等式约束的二次罚函数法
      • 7.1.2 收敛性分析
      • 7.1.3 一般约束问题的二次罚函数法
      • 7.1.4 应用举例
      • 7.1.5 其他类型的罚函数法
    • 7.2 增广拉格朗日函数法
      • 7.2.1 等式约束优化问题的增广拉格朗日函数法
      • 7.2.2 一般约束优化问题的增广拉格朗日函数法
      • 7.2.3 凸优化问题的增广拉格朗日函数法
      • 7.2.4 基追踪问题的增广拉格朗日函数法
      • 7.2.5 半定规划问题的增广拉格朗日函数法
    • 7.3 线性规划内点法
      • 7.3.1 原始-对偶算法
      • 7.3.2 路径追踪算法
    • 7.4 总结
    • 习题7
  • 第八章 复合优化算法
    • 8.1 近似点梯度法
      • 8.1.1 邻近算子
      • 8.1.2 近似点梯度法
      • 8.1.3 应用举例
      • 8.1.4 收敛性分析
      • *8.1.5 非凸函数的邻近算子与近似点梯度法
    • 8.2 Nesterov加速算法
      • 8.2.1 FISTA算法
      • 8.2.2 其他加速算法
      • 8.2.3 应用举例
      • 8.2.4 收敛性分析
    • 8.3 近似点算法
      • 8.3.1 近似点算法
      • 8.3.2 与增广拉格朗日函数法的关系
      • 8.3.3 应用举例
      • 8.3.4 收敛性分析
      • 8.3.5 Moreau-Yosida正则化
    • 8.4 分块坐标下降法
      • 8.4.1 问题描述
      • 8.4.2 算法结构
      • 8.4.3 应用举例
      • *8.4.4 收敛性分析
    • 8.5 对偶算法
      • 8.5.1 对偶近似点梯度法
      • 8.5.2 原始-对偶混合梯度算法
      • 8.5.3 应用举例
      • 8.5.4 收敛性分析
    • 8.6 交替方向乘子法
      • 8.6.1 交替方向乘子法
      • 8.6.2 Douglas-Rachford Splitting算法
      • 8.6.3 常见变形和技巧
      • 8.6.4 应用举例
      • *8.6.5 收敛性分析
    • 8.7 随机优化算法
      • 8.7.1 随机梯度下降算法
      • 8.7.2 应用举例
      • 8.7.3 收敛性分析
      • 8.7.4 方差减小技术
    • 8.8 总结
    • 习题8
  • 附录A 符号表
  • 附录B 数学基础
    • B.1 线性代数基础
      • B.1.1 矩阵内积与迹
      • B.1.2 正交矩阵与(半)正定矩阵
      • B.1.3 矩阵的秩
      • B.1.4 像空间和零空间
      • B.1.5 行列式
      • B.1.6 特征值与特征向量
      • B.1.7 广义逆
      • B.1.8 Sherman-Morrison-Woodbury 公式
      • B.1.9 Schur补
    • B.2 数值代数基础
      • B.2.1 解线性方程组
      • B.2.2 系数矩阵为特殊矩阵的方程组解法
      • B.2.3 特征值分解与奇异值分解
      • B.2.4 数值代数软件
    • B.3 概率基础
      • B.3.1 概率空间
      • B.3.2 随机变量
      • B.3.3 条件期望
      • B.3.4 随机变量的收敛性
      • B.3.5 随机过程
      • B.3.6 概率不等式
  • 参考文献
  • 索引

相关图书