顶部
  1. 首页
  2. 图书产品
  3. 大数据处理
收藏

大数据处理

作者：
金海 石宣化
定价：
48.00 元
版面字数：
430千字
开本：
16开
装帧形式：
平装
版次：
1
最新版次
印刷时间：
2024年
ISBN：
978-7-04-050935-9
物料号：
50935-00
出版时间：
2018-12-03
读者对象：
高等教育
一级分类：
电气/电子信息/自动化类
二级分类：
电子信息/通信专业课
三级分类：
其他

为培养学生理解大数据、处理大数据以及大数据系统优化的能力，本书从思维、编程、优化三个方面系统阐述大数据处理的系统架构、编程、优化等核心技术以及方法。全书内容共9 章，包括大数据处理基础、大数据存储基础、 数据管理基础、大数据编程、流计算、图计算、大数据系统管理、大数据系统优化技术、大数据资源链接等内容， 术章节内容均设有导言、习题和参考文献。

本书既可供高校相关专业教学使用，也可供大数据领域工程师或者有志于大数据领域工作或研究的科技人员使用。

  • 目录
    • 前辅文
      • 第1章 大数据处理基础
        • 1.1 大数据特征
          • 1.1.1 基本特征
            • 1.1.2 数据模型
            • 1.2 大数据存储模式
              • 1.2.1 分布式文件系统
                • 1.2.2 大数据存储形式
                  • 1.2.3 大数据存储实例
                  • 1.3 大数据处理模式
                    • 1.3.1 并行处理
                      • 1.3.2 分布式处理
                        • 1.3.3 控制流的处理
                          • 1.3.4 数据流的处理
                          • 1.4 大数据编程模式
                            • 1.4.1 批处理
                              • 1.4.2 流处理
                                • 1.4.3 交互式数据处理
                                  • 1.4.4 图处理
                                  • 1.5 大数据处理体系结构
                                    • 1.5.1 数据中心
                                      • 1.5.2 数据中心体系结构
                                        • 1.5.3 数据中心的网络拓扑结构
                                        • 1.6 本章小结与全书内容组织
                                          • 参考文献
                                            • 习题
                                            • 第2章 大数据存储基础
                                              • 2.1 分布式存储系统简介
                                                • 2.1.1 分布式存储系统的基本概念
                                                  • 2.1.2 数据分布
                                                    • 2.1.3 复制与一致性
                                                      • 2.1.4 容错机制
                                                        • 2.1.5 可扩展性
                                                        • 2.2 分布式文件系统
                                                          • 2.2.1 分布式文件系统概述
                                                            • 2.2.2 HDFS 的系统架构
                                                              • 2.2.3 数据分布
                                                                • 2.2.4 复制与一致性
                                                                  • 2.2.5 容错机制
                                                                    • 2.2.6 读写流程
                                                                    • 2.3 分布式键值系统
                                                                      • 2.3.1 分布式键值系统概述
                                                                        • 2.3.2 Dynamo 概述
                                                                          • 2.3.3 数据分布
                                                                            • 2.3.4 复制与一致性
                                                                              • 2.3.5 容错机制
                                                                                • 2.3.6 负载均衡
                                                                                  • 2.3.7 读写流程
                                                                                  • 2.4 新型存储器件驱动的内存系统
                                                                                    • 2.4.1 内存系统对大数据处理的重要性
                                                                                      • 2.4.2 非易失性存储器
                                                                                        • 2.4.3 异构内存系统
                                                                                        • 2.5 本章小结
                                                                                          • 参考文献
                                                                                            • 习题
                                                                                            • 第3章 大数据管理基础
                                                                                              • 3.1 大数据管理挑战概述
                                                                                                • 3.1.1 面向数据管理的大数据特征
                                                                                                  • 3.1.2 大数据的管理需求
                                                                                                  • 3.2 大数据的划分
                                                                                                    • 3.2.1 数据划分方法
                                                                                                      • 3.2.2 数据一致性理论
                                                                                                      • 3.3 大数据的组织管理方式
                                                                                                        • 3.3.1 关系数据库
                                                                                                          • 3.3.2 Key-Value 数据库
                                                                                                            • 3.3.3 列族数据库
                                                                                                              • 3.3.4 文档数据库
                                                                                                                • 3.3.5 图数据库
                                                                                                                • 3.4 大数据仓库系统
                                                                                                                  • 3.4.1 数据仓库的发展历史
                                                                                                                    • 3.4.2 大数据仓库的特性
                                                                                                                      • 3.4.3 实例：Hive 分析
                                                                                                                        • 3.4.4 大数据仓库的未来
                                                                                                                        • 3.5 本章小结
                                                                                                                          • 参考文献
                                                                                                                            • 习题
                                                                                                                            • 第4章 大数据编程
                                                                                                                              • 4.1 函数式编程
                                                                                                                                • 4.1.1 函数式编程的起源
                                                                                                                                  • 4.1.2 函数式语言家族成员
                                                                                                                                    • 4.1.3 函数式编程的概念及特点
                                                                                                                                    • 4.2 MapReduce 编程
                                                                                                                                      • 4.2.1 MapReduce 的起源
                                                                                                                                        • 4.2.2 MapReduce 的工作原理
                                                                                                                                          • 4.2.3 MapReduce 的主要特点
                                                                                                                                          • 4.3 MapReduce 案例研究
                                                                                                                                            • 4.3.1 WordCount 程序分析
                                                                                                                                              • 4.3.2 PageRank 程序分析
                                                                                                                                              • 4.4 本章小结
                                                                                                                                                • 参考文献
                                                                                                                                                  • 习题
                                                                                                                                                  • 第5章 大数据流处理
                                                                                                                                                    • 5.1 流处理基础和应用
                                                                                                                                                      • 5.1.1 流处理概述
                                                                                                                                                        • 5.1.2 流处理应用
                                                                                                                                                        • 5.2 分布式流计算
                                                                                                                                                          • 5.2.1 数据封装
                                                                                                                                                            • 5.2.2 建立应用拓扑
                                                                                                                                                              • 5.2.3 指定操作的并行度
                                                                                                                                                                • 5.2.4 指定数据分组与传输方式
                                                                                                                                                                  • 5.2.5 本节小节
                                                                                                                                                                  • 5.3 开源系统及编程模型
                                                                                                                                                                    • 5.3.1 Apache Storm
                                                                                                                                                                      • 5.3.2 Spark Streaming
                                                                                                                                                                        • 5.3.3 Apache Flink
                                                                                                                                                                        • 5.4 流处理系统机制及优化
                                                                                                                                                                          • 5.4.1 流处理调度及优化
                                                                                                                                                                            • 5.4.2 流处理一致性语义
                                                                                                                                                                              • 5.4.3 流处理容错
                                                                                                                                                                              • 参考文献
                                                                                                                                                                                • 习题
                                                                                                                                                                                • 第6章 图计算
                                                                                                                                                                                  • 6.1 图计算背景
                                                                                                                                                                                    • 6.1.1 图计算简介
                                                                                                                                                                                      • 6.1.2 图计算特点
                                                                                                                                                                                        • 6.1.3 图计算实例
                                                                                                                                                                                        • 6.2 图计算并行编程模型
                                                                                                                                                                                          • 6.2.1 以点为中心的编程模型
                                                                                                                                                                                            • 6.2.2 以边为中心的编程模型
                                                                                                                                                                                              • 6.2.3 以路径为中心的编程模型
                                                                                                                                                                                                • 6.2.4 以子图为中心的编程模型
                                                                                                                                                                                                • 6.3 图划分和通信
                                                                                                                                                                                                  • 6.3.1 图划分策略
                                                                                                                                                                                                    • 6.3.2 消息推送机制
                                                                                                                                                                                                    • 6.4 单机图计算系统
                                                                                                                                                                                                      • 6.4.1 内存图计算系统
                                                                                                                                                                                                        • 6.4.2 核外图计算系统
                                                                                                                                                                                                        • 6.5 图计算硬件加速技术
                                                                                                                                                                                                          • 6.5.1 基于GPU 的图计算加速技术
                                                                                                                                                                                                            • 6.5.2 基于MIC 的图计算加速技术
                                                                                                                                                                                                              • 6.5.3 基于FPGA 的图计算加速技术
                                                                                                                                                                                                                • 6.5.4 基于ASIC 的图计算加速技术
                                                                                                                                                                                                                • 6.6 图算法案例
                                                                                                                                                                                                                  • 6.6.1 图拓扑属性算法
                                                                                                                                                                                                                    • 6.6.2 图数据管理和查询算法
                                                                                                                                                                                                                    • 6.7 图计算性能评价
                                                                                                                                                                                                                      • 6.8 本章小结
                                                                                                                                                                                                                        • 参考文献
                                                                                                                                                                                                                          • 习题
                                                                                                                                                                                                                          • 第7章 大数据系统管理
                                                                                                                                                                                                                            • 7.1 统一资源管理
                                                                                                                                                                                                                              • 7.1.1 统一资源管理的设计思想
                                                                                                                                                                                                                                • 7.1.2 统一资源管理的基本架构
                                                                                                                                                                                                                                  • 7.1.3 统一资源管理的工作流程
                                                                                                                                                                                                                                  • 7.2 大数据系统资源调度
                                                                                                                                                                                                                                    • 7.2.1 资源调度系统的架构
                                                                                                                                                                                                                                      • 7.2.2 典型调度算法
                                                                                                                                                                                                                                      • 7.3 大数据系统的协调技术
                                                                                                                                                                                                                                        • 7.3.1 协调系统的架构与原理
                                                                                                                                                                                                                                          • 7.3.2 复制状态机模型
                                                                                                                                                                                                                                            • 7.3.3 分布式一致性算法
                                                                                                                                                                                                                                            • 7.4 案例研究
                                                                                                                                                                                                                                              • 7.4.1 YARN
                                                                                                                                                                                                                                                • 7.4.2 ZooKeeper
                                                                                                                                                                                                                                                • 7.5 本章小结
                                                                                                                                                                                                                                                  • 参考文献
                                                                                                                                                                                                                                                    • 习题
                                                                                                                                                                                                                                                    • 第8章 大数据系统优化技术
                                                                                                                                                                                                                                                      • 8.1 存储优化
                                                                                                                                                                                                                                                        • 8.1.1 数据局部性优化
                                                                                                                                                                                                                                                          • 8.1.2 服务可扩展性优化
                                                                                                                                                                                                                                                          • 8.2 调度优化
                                                                                                                                                                                                                                                            • 8.2.1 调度模型
                                                                                                                                                                                                                                                              • 8.2.2 数据本地化
                                                                                                                                                                                                                                                                • 8.2.3 负载均衡
                                                                                                                                                                                                                                                                  • 8.2.4 拖后腿问题与推测执行
                                                                                                                                                                                                                                                                  • 8.3 运行时优化
                                                                                                                                                                                                                                                                    • 8.3.1 中间结果缓存
                                                                                                                                                                                                                                                                      • 8.3.2 序列化开销优化
                                                                                                                                                                                                                                                                      • 8.4 本章小结
                                                                                                                                                                                                                                                                        • 参考文献
                                                                                                                                                                                                                                                                          • 习题
                                                                                                                                                                                                                                                                          • 第9章 大数据资源链接
                                                                                                                                                                                                                                                                            • 重要名词索引