图书信息
图书目录

最优化:建模、算法与理论(第二版)




本书介绍了最优化的基本概念、典型案例、基本理论和优化算法。典型案例来自数据科学、机器学习、人工智能、图像和信号处理等领域,基本理论涵盖最优解的存在性和唯一性、各类优化问题的一阶或二阶最优性条件、对偶理论等,优化算法包括无约束优化算法、约束优化算法、复合优化算法。全书案例丰富,理论翔实,展现了最优化的“实践——算法——理论——实践”这一特点。书中配备了适量的习题,这些习题难易兼顾、层次分明,为正文的内容提供补充,并可检验读者的学习效果。

本书可作为高等学校数据科学专业的教材或参考书,供研究生和本科高年级学生使用,也可供从事运筹学、计算数学、图像和信号处理、机器学习、人工智能等领域的科技工作者参考。



作者:
文再文、刘浩洋、户将、李勇锋

定价:
78.00 元

出版时间:
2026-03-02

ISBN:
978-7-04-065934-4

物料号:
65934-00

读者对象:
高等教育

一级分类:
数学与统计学类

二级分类:
信息与计算科学专业课

三级分类:
最优化方法

重点项目:
暂无

版面字数:
680千字

开本:
16开

装帧形式:
平装

页数:
暂无

最新
印次时间:
2026年01月
  • 目录
    • 前辅文
      • 第一章 最优化简介
        • 1.1 最优化问题概括
          • 1.1.1 最优化问题的一般形式
            • 1.1.2 最优化问题的类型与应用背景
            • 1.2 实例:稀疏优化
              • 1.3 实例:低秩矩阵恢复
                • 1.4 实例:深度学习
                  • 1.4.1 多层感知机
                    • 1.4.2 卷积神经网络
                    • 1.5 最优化的基本概念
                      • 1.5.1 连续和离散优化问题
                        • 1.5.2 无约束和约束优化问题
                          • 1.5.3 随机和确定性优化问题
                            • 1.5.4 线性和非线性规划问题
                              • 1.5.5 凸和非凸优化问题
                                • 1.5.6 全局和局部最优解
                                  • 1.5.7 优化算法
                                  • 1.6 总结
                                    • 习题1
                                    • 第二章 基础知识
                                      • 2.1 范数
                                        • 2.1.1 向量范数
                                          • 2.1.2 矩阵范数
                                            • 2.1.3 矩阵内积
                                            • 2.2 导数
                                              • 2.2.1 梯度与海瑟矩阵
                                                • 2.2.2 矩阵变量函数的导数
                                                  • 2.2.3 自动微分
                                                  • 2.3 广义实值函数
                                                    • 2.3.1 适当函数
                                                      • 2.3.2 闭函数
                                                      • 2.4 凸集
                                                        • 2.4.1 凸集的相关定义
                                                          • 2.4.2 重要的凸集
                                                            • 2.4.3 保凸的运算
                                                              • 2.4.4 分离超平面定理
                                                              • 2.5 凸函数
                                                                • 2.5.1 凸函数的定义
                                                                  • 2.5.2 凸函数判定定理
                                                                    • 2.5.3 保凸的运算
                                                                      • 2.5.4 凸函数的性质
                                                                      • 2.6 共轭函数
                                                                        • 2.6.1 共轭函数的定义和例子
                                                                          • 2.6.2 二次共轭函数
                                                                          • 2.7 次梯度
                                                                            • 2.7.1 次梯度的定义
                                                                              • 2.7.2 次梯度的性质
                                                                                • 2.7.3 凸函数的方向导数
                                                                                  • 2.7.4 次梯度的计算规则
                                                                                  • 2.8 总结
                                                                                    • 习题2
                                                                                    • 第三章 优化建模
                                                                                      • 3.1 建模技术
                                                                                        • 3.1.1 目标函数的设计
                                                                                          • 3.1.2 约束的设计
                                                                                          • 3.2 回归分析
                                                                                            • 3.2.1 概述
                                                                                              • 3.2.2 线性回归模型
                                                                                                • 3.2.3 正则化线性回归模型
                                                                                                • 3.3 逻辑回归
                                                                                                  • 3.4 支持向量机
                                                                                                    • 3.5 概率图模型
                                                                                                      • 3.6 相位恢复
                                                                                                        • 3.7 主成分分析
                                                                                                          • 3.8 矩阵分离问题
                                                                                                            • 3.9 字典学习
                                                                                                              • 3.10 K-均值聚类
                                                                                                                • 3.11 图像处理中的全变差模型
                                                                                                                  • 3.12 小波模型
                                                                                                                    • 3.13 强化学习
                                                                                                                      • 3.14 总结
                                                                                                                        • 习题3
                                                                                                                        • 第四章 典型优化问题
                                                                                                                          • 4.1 线性规划
                                                                                                                            • 4.1.1 基本形式和应用背景
                                                                                                                              • 4.1.2 应用举例
                                                                                                                              • 4.2 最小二乘问题
                                                                                                                                • 4.2.1 基本形式和应用背景
                                                                                                                                  • 4.2.2 应用举例
                                                                                                                                  • 4.3 复合优化问题
                                                                                                                                    • 4.3.1 基本形式和应用背景
                                                                                                                                      • 4.3.2 应用举例
                                                                                                                                      • 4.4 随机优化问题
                                                                                                                                        • 4.4.1 基本形式和应用背景
                                                                                                                                          • 4.4.2 应用举例
                                                                                                                                          • 4.5 半定规划
                                                                                                                                            • 4.5.1 基本形式和应用背景
                                                                                                                                              • 4.5.2 应用举例
                                                                                                                                              • 4.6 矩阵优化
                                                                                                                                                • 4.6.1 基本形式和应用背景
                                                                                                                                                  • 4.6.2 应用举例
                                                                                                                                                  • 4.7 整数规划
                                                                                                                                                    • 4.7.1 基本形式和应用背景
                                                                                                                                                      • 4.7.2 应用举例
                                                                                                                                                      • 4.8 典型优化算法软件介绍
                                                                                                                                                        • 4.9 优化模型语言
                                                                                                                                                          • 4.9.1 CVX
                                                                                                                                                            • 4.9.2 AMPL
                                                                                                                                                            • 4.10 总结
                                                                                                                                                              • 习题4
                                                                                                                                                              • 第五章 最优性理论
                                                                                                                                                                • 5.1 最优化问题解的存在性
                                                                                                                                                                  • 5.2 无约束可微问题的最优性理论
                                                                                                                                                                    • 5.2.1 一阶最优性条件
                                                                                                                                                                      • 5.2.2 二阶最优性条件
                                                                                                                                                                        • 5.2.3 实例
                                                                                                                                                                        • 5.3 无约束不可微问题的最优性理论
                                                                                                                                                                          • 5.3.1 凸优化问题一阶充要条件
                                                                                                                                                                            • 5.3.2 复合优化问题的一阶必要条件
                                                                                                                                                                              • *5.3.3 非光滑非凸问题的最优性条件
                                                                                                                                                                                • 5.3.4 实例
                                                                                                                                                                                • 5.4 对偶理论
                                                                                                                                                                                  • 5.4.1 拉格朗日函数与对偶问题
                                                                                                                                                                                    • 5.4.2 带广义不等式约束优化问题的对偶
                                                                                                                                                                                      • 5.4.3 实例
                                                                                                                                                                                      • 5.5 一般约束优化问题的最优性理论
                                                                                                                                                                                        • 5.5.1 一阶最优性条件
                                                                                                                                                                                          • 5.5.2 二阶最优性条件
                                                                                                                                                                                          • 5.6 带约束凸优化问题的最优性理论
                                                                                                                                                                                            • 5.6.1 Slater约束品性与强对偶原理
                                                                                                                                                                                              • 5.6.2 一阶充要条件
                                                                                                                                                                                                • *5.6.3 一阶充要条件:必要性的证明
                                                                                                                                                                                                • 5.7 约束优化最优性理论应用实例
                                                                                                                                                                                                  • 5.7.1 仿射空间的投影问题
                                                                                                                                                                                                    • 5.7.2 线性规划问题
                                                                                                                                                                                                      • 5.7.3 基追踪
                                                                                                                                                                                                        • 5.7.4 最大割问题的半定规划松弛及其非凸分解模型
                                                                                                                                                                                                        • 5.8 总结
                                                                                                                                                                                                          • 习题5
                                                                                                                                                                                                          • 第六章 无约束优化算法
                                                                                                                                                                                                            • 6.1 线搜索方法
                                                                                                                                                                                                              • 6.1.1 线搜索准则
                                                                                                                                                                                                                • 6.1.2 线搜索算法
                                                                                                                                                                                                                  • 6.1.3 收敛性分析
                                                                                                                                                                                                                  • 6.2 梯度类算法
                                                                                                                                                                                                                    • 6.2.1 梯度下降法
                                                                                                                                                                                                                      • 6.2.2 Barzilai-Borwein方法
                                                                                                                                                                                                                        • 6.2.3 应用举例
                                                                                                                                                                                                                        • 6.3 次梯度算法
                                                                                                                                                                                                                          • 6.3.1 次梯度算法结构
                                                                                                                                                                                                                            • 6.3.2 收敛性分析
                                                                                                                                                                                                                              • 6.3.3 应用举例
                                                                                                                                                                                                                              • 6.4 牛顿类算法
                                                                                                                                                                                                                                • 6.4.1 经典牛顿法
                                                                                                                                                                                                                                  • 6.4.2 收敛性分析
                                                                                                                                                                                                                                    • 6.4.3 修正牛顿法
                                                                                                                                                                                                                                      • 6.4.4 非精确牛顿法
                                                                                                                                                                                                                                        • 6.4.5 应用举例
                                                                                                                                                                                                                                        • 6.5 拟牛顿类算法
                                                                                                                                                                                                                                          • 6.5.1 割线方程
                                                                                                                                                                                                                                            • 6.5.2 拟牛顿矩阵更新方式
                                                                                                                                                                                                                                              • 6.5.3 拟牛顿法的全局收敛性
                                                                                                                                                                                                                                                • 6.5.4 有限内存BFGS方法
                                                                                                                                                                                                                                                  • 6.5.5 应用举例
                                                                                                                                                                                                                                                  • 6.6 信赖域算法
                                                                                                                                                                                                                                                    • 6.6.1 信赖域算法框架
                                                                                                                                                                                                                                                      • 6.6.2 信赖域子问题求解
                                                                                                                                                                                                                                                        • 6.6.3 收敛性分析
                                                                                                                                                                                                                                                          • 6.6.4 应用举例
                                                                                                                                                                                                                                                          • 6.7 非线性最小二乘问题算法
                                                                                                                                                                                                                                                            • 6.7.1 非线性最小二乘问题
                                                                                                                                                                                                                                                              • 6.7.2 高斯-牛顿算法
                                                                                                                                                                                                                                                                • 6.7.3 Levenberg-Marquardt方法
                                                                                                                                                                                                                                                                  • 6.7.4 大残量问题的拟牛顿法
                                                                                                                                                                                                                                                                    • 6.7.5 应用举例
                                                                                                                                                                                                                                                                    • 6.8 总结
                                                                                                                                                                                                                                                                      • 习题6
                                                                                                                                                                                                                                                                      • 第七章 约束优化算法
                                                                                                                                                                                                                                                                        • 7.1 罚函数法
                                                                                                                                                                                                                                                                          • 7.1.1 等式约束的二次罚函数法
                                                                                                                                                                                                                                                                            • 7.1.2 收敛性分析
                                                                                                                                                                                                                                                                              • 7.1.3 一般约束问题的二次罚函数法
                                                                                                                                                                                                                                                                                • 7.1.4 应用举例
                                                                                                                                                                                                                                                                                  • 7.1.5 其他类型的罚函数法
                                                                                                                                                                                                                                                                                  • 7.2 增广拉格朗日函数法
                                                                                                                                                                                                                                                                                    • 7.2.1 等式约束优化问题的增广拉格朗日函数法
                                                                                                                                                                                                                                                                                      • 7.2.2 一般约束优化问题的增广拉格朗日函数法
                                                                                                                                                                                                                                                                                        • 7.2.3 凸优化问题的增广拉格朗日函数法
                                                                                                                                                                                                                                                                                          • 7.2.4 基追踪问题的增广拉格朗日函数法
                                                                                                                                                                                                                                                                                            • 7.2.5 半定规划问题的增广拉格朗日函数法
                                                                                                                                                                                                                                                                                            • 7.3 线性规划内点法
                                                                                                                                                                                                                                                                                              • 7.3.1 原始-对偶算法
                                                                                                                                                                                                                                                                                                • 7.3.2 路径追踪算法
                                                                                                                                                                                                                                                                                                • 7.4 流形优化算法
                                                                                                                                                                                                                                                                                                  • 7.4.1 流形的基本概念
                                                                                                                                                                                                                                                                                                    • 7.4.2 典型流形介绍
                                                                                                                                                                                                                                                                                                      • 7.4.3 最优性条件
                                                                                                                                                                                                                                                                                                        • 7.4.4 收缩算子
                                                                                                                                                                                                                                                                                                          • 7.4.5 一阶优化算法
                                                                                                                                                                                                                                                                                                            • 7.4.6 二阶优化算法
                                                                                                                                                                                                                                                                                                              • 7.4.7 应用举例
                                                                                                                                                                                                                                                                                                                • 7.4.8 收敛性分析
                                                                                                                                                                                                                                                                                                                • 7.5 总结
                                                                                                                                                                                                                                                                                                                  • 习题7
                                                                                                                                                                                                                                                                                                                  • 第八章 复合优化算法
                                                                                                                                                                                                                                                                                                                    • 8.1 近似点梯度法
                                                                                                                                                                                                                                                                                                                      • 8.1.1 邻近算子
                                                                                                                                                                                                                                                                                                                        • 8.1.2 近似点梯度法
                                                                                                                                                                                                                                                                                                                          • 8.1.3 应用举例
                                                                                                                                                                                                                                                                                                                            • 8.1.4 收敛性分析
                                                                                                                                                                                                                                                                                                                              • *8.1.5 非凸函数的邻近算子与近似点梯度法
                                                                                                                                                                                                                                                                                                                              • 8.2 Nesterov加速算法
                                                                                                                                                                                                                                                                                                                                • 8.2.1 FISTA算法
                                                                                                                                                                                                                                                                                                                                  • 8.2.2 其他加速算法
                                                                                                                                                                                                                                                                                                                                    • 8.2.3 应用举例
                                                                                                                                                                                                                                                                                                                                      • 8.2.4 收敛性分析
                                                                                                                                                                                                                                                                                                                                      • 8.3 近似点算法
                                                                                                                                                                                                                                                                                                                                        • 8.3.1 近似点算法
                                                                                                                                                                                                                                                                                                                                          • 8.3.2 与增广拉格朗日函数法的关系
                                                                                                                                                                                                                                                                                                                                            • 8.3.3 应用举例
                                                                                                                                                                                                                                                                                                                                              • 8.3.4 收敛性分析
                                                                                                                                                                                                                                                                                                                                                • 8.3.5 Moreau-Yosida正则化
                                                                                                                                                                                                                                                                                                                                                • 8.4 分块坐标下降法
                                                                                                                                                                                                                                                                                                                                                  • 8.4.1 问题描述
                                                                                                                                                                                                                                                                                                                                                    • 8.4.2 算法结构
                                                                                                                                                                                                                                                                                                                                                      • 8.4.3 应用举例
                                                                                                                                                                                                                                                                                                                                                        • *8.4.4 收敛性分析
                                                                                                                                                                                                                                                                                                                                                        • 8.5 对偶算法
                                                                                                                                                                                                                                                                                                                                                          • 8.5.1 对偶近似点梯度法
                                                                                                                                                                                                                                                                                                                                                            • 8.5.2 原始-对偶混合梯度算法
                                                                                                                                                                                                                                                                                                                                                              • 8.5.3 应用举例
                                                                                                                                                                                                                                                                                                                                                                • 8.5.4 收敛性分析
                                                                                                                                                                                                                                                                                                                                                                • 8.6 交替方向乘子法
                                                                                                                                                                                                                                                                                                                                                                  • 8.6.1 交替方向乘子法
                                                                                                                                                                                                                                                                                                                                                                    • 8.6.2 Douglas-Rachford Splitting算法
                                                                                                                                                                                                                                                                                                                                                                      • 8.6.3 常见变形和技巧
                                                                                                                                                                                                                                                                                                                                                                        • 8.6.4 应用举例
                                                                                                                                                                                                                                                                                                                                                                          • *8.6.5 收敛性分析
                                                                                                                                                                                                                                                                                                                                                                          • 8.7 随机优化算法
                                                                                                                                                                                                                                                                                                                                                                            • 8.7.1 随机梯度下降算法
                                                                                                                                                                                                                                                                                                                                                                              • 8.7.2 应用举例
                                                                                                                                                                                                                                                                                                                                                                                • 8.7.3 收敛性分析
                                                                                                                                                                                                                                                                                                                                                                                  • 8.7.4 方差减小技术
                                                                                                                                                                                                                                                                                                                                                                                  • 8.8 半光滑牛顿算法
                                                                                                                                                                                                                                                                                                                                                                                    • 8.8.1 半光滑性介绍
                                                                                                                                                                                                                                                                                                                                                                                      • 8.8.2 半光滑牛顿算法
                                                                                                                                                                                                                                                                                                                                                                                        • 8.8.3 应用举例
                                                                                                                                                                                                                                                                                                                                                                                          • 8.8.4 收敛性分析
                                                                                                                                                                                                                                                                                                                                                                                          • 8.9 总结
                                                                                                                                                                                                                                                                                                                                                                                            • 习题8
                                                                                                                                                                                                                                                                                                                                                                                            • 附录A 符号表
                                                                                                                                                                                                                                                                                                                                                                                              • 附录B 数学基础
                                                                                                                                                                                                                                                                                                                                                                                                • B.1 线性代数基础
                                                                                                                                                                                                                                                                                                                                                                                                  • B.1.1 矩阵内积与迹
                                                                                                                                                                                                                                                                                                                                                                                                    • B.1.2 正交矩阵与(半)正定矩阵
                                                                                                                                                                                                                                                                                                                                                                                                      • B.1.3 矩阵的秩
                                                                                                                                                                                                                                                                                                                                                                                                        • B.1.4 像空间和零空间
                                                                                                                                                                                                                                                                                                                                                                                                          • B.1.5 行列式
                                                                                                                                                                                                                                                                                                                                                                                                            • B.1.6 特征值与特征向量
                                                                                                                                                                                                                                                                                                                                                                                                              • B.1.7 广义逆
                                                                                                                                                                                                                                                                                                                                                                                                                • B.1.8 Sherman-Morrison-Woodbury公式
                                                                                                                                                                                                                                                                                                                                                                                                                  • B.1.9 Schur补
                                                                                                                                                                                                                                                                                                                                                                                                                  • B.2 数值代数基础
                                                                                                                                                                                                                                                                                                                                                                                                                    • B.2.1 解线性方程组
                                                                                                                                                                                                                                                                                                                                                                                                                      • B.2.2 系数矩阵为特殊矩阵的方程组解法
                                                                                                                                                                                                                                                                                                                                                                                                                        • B.2.3 特征值分解与奇异值分解
                                                                                                                                                                                                                                                                                                                                                                                                                          • B.2.4 数值代数软件
                                                                                                                                                                                                                                                                                                                                                                                                                          • B.3 概率基础
                                                                                                                                                                                                                                                                                                                                                                                                                            • B.3.1 概率空间
                                                                                                                                                                                                                                                                                                                                                                                                                              • B.3.2 随机变量
                                                                                                                                                                                                                                                                                                                                                                                                                                • B.3.3 条件期望
                                                                                                                                                                                                                                                                                                                                                                                                                                  • B.3.4 随机变量的收敛性
                                                                                                                                                                                                                                                                                                                                                                                                                                    • B.3.5 随机过程
                                                                                                                                                                                                                                                                                                                                                                                                                                      • B.3.6 概率不等式
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 参考文献
                                                                                                                                                                                                                                                                                                                                                                                                                                      • 索引