顶部
收藏

大数据建模方法


作者:
张平文、戴文渊、黄晶、王新民、李昊辰
定价:
68.00 元
版面字数:
280千字
开本:
16开
装帧形式:
平装
版次:
1
最新版次
印刷时间:
2020年
ISBN:
978-7-04-053049-0
物料号:
53049-00
出版时间:
2019-12-31
读者对象:
高等教育
一级分类:
数学与统计学类
二级分类:
数学与统计学类其他课程
三级分类:
其他课程

本书包含理论和案例两部分内容, 理论部分从基础知识、指导思想、工作步骤及评估体系等角度对大数据建模的方法论进行了总结归纳, 案例部分介绍了该大数据建模方法论在气象、能源、网络、银行以及企业管理等多个领域中的实践及应用。大数据建模的特点使其不但需要有理论上的指导, 还需要在实践中落地, 因此本书非常强调理论与实践的并重。本书的主要读者是各高等院校大数据、数学、计算机等相关学科的高年级本科生和研究生,以及企事业单位中从事大数据相关科研与应用工作的技术人员等, 希望读者在阅读本书后,提高对大数据建模的认识和利用大数据建模来解决实际问题的能力。

  • 目录
    • 前辅文
      • I 理论
        • 1 基础知识
          • 1.1 模型与算法
            • 1.1.1 现实世界和机理
              • 1.1.2 模型
                • 1.1.3 算法
                  • 1.1.4 模型与算法的区别及联系
                  • 1.2 建模
                    • 1.2.1 传统建模的步骤
                      • 1.2.2 可计算建模
                        • 1.2.3 建模思路的分类
                          • 1.2.4 几种建模思路的对比
                          • 1.3 大数据及其相关概念
                            • 1.3.1 大数据
                              • 1.3.2 计算能力
                                • 1.3.3 人工智能
                                  • 1.3.4 几个概念之间的关系
                                    • 1.3.5 大数据概念出现的原因
                                    • 1.4 我国大数据建模的现状
                                      • 1.4.1 现状
                                        • 1.4.2 不同业界的态度
                                        • 1.5 小结
                                          • 参考文献
                                          • 2 数据思维
                                            • 2.1 什么是数据思维
                                              • 2.1.1 数据思维的由来
                                                • 2.1.2 数据思维的要素
                                                • 2.2 机器学习概述
                                                  • 2.2.1 机器学习的分类
                                                    • 2.2.2 机器学习的数学描述
                                                    • 2.3 大数据建模的五个必要条件
                                                      • 2.4 思考题
                                                        • 参考文献
                                                        • 3 大数据建模步骤
                                                          • 3.1 从苹果和梨说起
                                                            • 3.2 明确目标
                                                              • 3.3 收集数据和样本定义
                                                                • 3.3.1 样本定义和挑选
                                                                  • 3.3.2 样本定义案例
                                                                    • 3.3.3 数据准备
                                                                    • 3.4 提取特征
                                                                      • 3.4.1 特征工程的定义
                                                                        • 3.4.2 特征工程的重要性
                                                                          • 3.4.3 特征获取
                                                                            • 3.4.4 特征处理
                                                                              • 3.4.5 特征选择
                                                                                • 3.4.6 特征维度
                                                                                  • 3.4.7 特征共线性问题
                                                                                  • 3.5 模型训练
                                                                                    • 3.5.1 随机梯度下降方法
                                                                                      • 3.5.2 过拟合问题
                                                                                      • 3.6 模型预测
                                                                                        • 参考文献
                                                                                        • 4 大数据建模的评估体系
                                                                                          • 4.1 离线实验
                                                                                            • 4.1.1 离线实验方法
                                                                                              • 4.1.2 回归模型评估指标
                                                                                                • 4.1.3 分类模型评估指标
                                                                                                • 4.2 在线实验
                                                                                                  • 4.2.1 在线实验方法
                                                                                                    • 4.2.2 评估指标
                                                                                                    • 参考文献
                                                                                                    • 5 大数据平台
                                                                                                      • 5.1 大数据平台简介
                                                                                                        • 5.2 Python
                                                                                                          • 5.2.1 Python 简介
                                                                                                            • 5.2.2 Python 的安装
                                                                                                              • 5.2.3 实验数据集
                                                                                                                • 5.2.4 Python 的初步使用
                                                                                                                • 5.3 TensorFlow
                                                                                                                  • 5.3.1 TensorFlow 简介
                                                                                                                    • 5.3.2 TensorFlow 的安装
                                                                                                                      • 5.3.3 TensorFlow 的初步使用
                                                                                                                        • 5.3.4 基于TensorFlow 的机器学习
                                                                                                                        • 5.4 第四范式先知平台
                                                                                                                          • 5.5 小结
                                                                                                                            • 参考文献
                                                                                                                          • II 案例
                                                                                                                            • 6 天气预报
                                                                                                                              • 6.1 天气的现象与探测
                                                                                                                                • 6.1.1 大气的垂直结构
                                                                                                                                  • 6.1.2 大气的探测
                                                                                                                                    • 6.1.3 天气现象
                                                                                                                                    • 6.2 影响天气预报的几个关键因素
                                                                                                                                      • 6.2.1 云
                                                                                                                                        • 6.2.2 大气边界层
                                                                                                                                          • 6.2.3 辐射
                                                                                                                                          • 6.3 大气运动方程组
                                                                                                                                            • 6.3.1 大气运动的主要变量及其规律
                                                                                                                                              • 6.3.2 大气运动方程组
                                                                                                                                                • 6.3.3 其他坐标系下的运动方程组
                                                                                                                                                • 6.4 大气运动方程组的约简
                                                                                                                                                  • 6.4.1 尺度分析法
                                                                                                                                                    • 6.4.2 次网格参数化
                                                                                                                                                    • 6.5 资料同化
                                                                                                                                                      • 6.5.1 逐步订正法
                                                                                                                                                        • 6.5.2 资料同化的改进方法
                                                                                                                                                        • 6.6 小结
                                                                                                                                                          • 参考文献
                                                                                                                                                          • 7 精准气象服务
                                                                                                                                                            • 7.1 背景介绍
                                                                                                                                                              • 7.1.1 天气预报
                                                                                                                                                                • 7.1.2 天气预报方法
                                                                                                                                                                  • 7.1.3 天气会商
                                                                                                                                                                  • 7.2 明确目标
                                                                                                                                                                    • 7.2.1 站点预报
                                                                                                                                                                      • 7.2.2 格点预报
                                                                                                                                                                        • 7.2.3 区域预报
                                                                                                                                                                          • 7.2.4 目标细化
                                                                                                                                                                          • 7.3 数据与样本
                                                                                                                                                                            • 7.3.1 实况数据
                                                                                                                                                                              • 7.3.2 模式数据
                                                                                                                                                                                • 7.3.3 模式初值
                                                                                                                                                                                  • 7.3.4 本章所需的数据
                                                                                                                                                                                  • 7.4 特征工程
                                                                                                                                                                                    • 7.4.1 数据预处理
                                                                                                                                                                                      • 7.4.2 站点预报的特征工程
                                                                                                                                                                                        • 7.4.3 格点预报的特征工程
                                                                                                                                                                                          • 7.4.4 区域预报的特征工程
                                                                                                                                                                                            • 7.4.5 问题解决思路
                                                                                                                                                                                              • 7.4.6 原始数据集
                                                                                                                                                                                                • 7.4.7 数据合集
                                                                                                                                                                                                • 7.5 模型构建与训练
                                                                                                                                                                                                  • 7.5.1 模型的构建
                                                                                                                                                                                                    • 7.5.2 模型的训练
                                                                                                                                                                                                    • 7.6 模型预测与评估
                                                                                                                                                                                                      • 7.6.1 评估标准
                                                                                                                                                                                                        • 7.6.2 不同模型对结果的订正
                                                                                                                                                                                                          • 7.6.3 四种模型的比较
                                                                                                                                                                                                            • 7.6.4 结论
                                                                                                                                                                                                            • 7.7 补充说明
                                                                                                                                                                                                              • 7.8 思考题
                                                                                                                                                                                                                • 参考文献
                                                                                                                                                                                                                • 8 风电功率预测
                                                                                                                                                                                                                  • 8.1 背景介绍
                                                                                                                                                                                                                    • 8.2 明确目标
                                                                                                                                                                                                                      • 8.3 数据与样本
                                                                                                                                                                                                                        • 8.4 特征工程
                                                                                                                                                                                                                          • 8.4.1 风速计算数据的处理
                                                                                                                                                                                                                            • 8.4.2 风机实测数据的处理
                                                                                                                                                                                                                              • 8.4.3 特征可视化分析
                                                                                                                                                                                                                                • 8.4.4 衍生特征
                                                                                                                                                                                                                                • 8.5 模型构建与训练
                                                                                                                                                                                                                                  • 8.5.1 风速预测模型的构建
                                                                                                                                                                                                                                    • 8.5.2 功率预测模型的构建
                                                                                                                                                                                                                                      • 8.5.3 模型的训练
                                                                                                                                                                                                                                      • 8.6 模型预测与评估
                                                                                                                                                                                                                                        • 8.6.1 风速预测模型的预测与评估
                                                                                                                                                                                                                                          • 8.6.2 功率预测模型的预测与评估
                                                                                                                                                                                                                                          • 8.7 补充说明
                                                                                                                                                                                                                                            • 8.8 思考题
                                                                                                                                                                                                                                              • 参考文献
                                                                                                                                                                                                                                              • 9 广告点击率预估
                                                                                                                                                                                                                                                • 9.1 背景介绍
                                                                                                                                                                                                                                                  • 9.2 明确目标
                                                                                                                                                                                                                                                    • 9.3 数据和样本
                                                                                                                                                                                                                                                      • 9.4 特征工程
                                                                                                                                                                                                                                                        • 9.4.1 离散化
                                                                                                                                                                                                                                                          • 9.4.2 特征组合
                                                                                                                                                                                                                                                          • 9.5 模型构建与训练
                                                                                                                                                                                                                                                            • 9.5.1 logistic 回归算法
                                                                                                                                                                                                                                                              • 9.5.2 模型训练
                                                                                                                                                                                                                                                              • 9.6 模型预测与评估
                                                                                                                                                                                                                                                                • 9.6.1 离线评估
                                                                                                                                                                                                                                                                  • 9.6.2 在线评估
                                                                                                                                                                                                                                                                  • 参考文献
                                                                                                                                                                                                                                                                  • 10 银行理财推荐
                                                                                                                                                                                                                                                                    • 10.1 背景介绍
                                                                                                                                                                                                                                                                      • 10.2 明确目标
                                                                                                                                                                                                                                                                        • 10.3 数据和样本
                                                                                                                                                                                                                                                                          • 10.3.1 样本定义方式
                                                                                                                                                                                                                                                                            • 10.3.2 数据需求
                                                                                                                                                                                                                                                                            • 10.4 特征工程
                                                                                                                                                                                                                                                                              • 10.5 模型构建与训练
                                                                                                                                                                                                                                                                                • 10.5.1 logistic 算法
                                                                                                                                                                                                                                                                                  • 10.5.2 GBDT 算法
                                                                                                                                                                                                                                                                                  • 10.6 模型预测与评估
                                                                                                                                                                                                                                                                                    • 参考文献
                                                                                                                                                                                                                                                                                    • 11 企业经营管理
                                                                                                                                                                                                                                                                                      • 11.1 背景介绍
                                                                                                                                                                                                                                                                                        • 11.2 明确目标
                                                                                                                                                                                                                                                                                          • 11.3 数据与样本
                                                                                                                                                                                                                                                                                            • 11.4 特征工程
                                                                                                                                                                                                                                                                                              • 11.4.1 建立基础指标库
                                                                                                                                                                                                                                                                                                • 11.4.2 基础指标属性分析
                                                                                                                                                                                                                                                                                                  • 11.4.3 历史数据提取
                                                                                                                                                                                                                                                                                                    • 11.4.4 无量纲化处理
                                                                                                                                                                                                                                                                                                    • 11.5 模型构建
                                                                                                                                                                                                                                                                                                      • 11.5.1 建立指标体系
                                                                                                                                                                                                                                                                                                        • 11.5.2 构建指数模型
                                                                                                                                                                                                                                                                                                        • 11.6 模型预测与评估
                                                                                                                                                                                                                                                                                                          • 11.6.1 非负矩阵分解法
                                                                                                                                                                                                                                                                                                            • 11.6.2 模型效果评估
                                                                                                                                                                                                                                                                                                              • 11.6.3 模型预测
                                                                                                                                                                                                                                                                                                              • 11.7 补充说明
                                                                                                                                                                                                                                                                                                                • 参考文献

                                                                                                                                                                                                                                                                                                            相关图书