数据采集与预处理

本书为国家职业教育大数据技术专业教学资源库配套教材，也是高等职业教育计算机类课程新形态一体化教材。

本书选择Python 3作为编程环境，系统讲述编写网络爬虫所需要的各种技术，包括HTTP原理、urllib和Requests网络请求库的使用、正则表达式、XPath等数据提取规则的使用和强大的网络爬虫框架Scrapy的使用，最后通过一个项目“招聘分析监控系统——数据采集系统”介绍如何将以上技术综合运用。

本书配套有微课视频、教学设计、授课用PPT等数字化教学资源。与本书配套的数字课程“数据采集与预处理”已在“智慧职教”平台（www.icve.com.cn）上线，学习者可以登录平台进行在线开放课程的学习，授课教师可以调用本课程构建符合自身教学特色的SPOC课程，详见“智慧职教”服务指南。读者可发邮件至编辑邮箱1548103297@qq.com获取相关资源。

本书紧跟信息社会发展动态，内容新颖、结构清晰，具有很强的趣味性和实用性。本书可作为高等职业院校大数据技术及其他相关专业的教材，也可作为大数据技术爱好者的自学用书。

目录
- 前辅文
- 第1章网络爬虫概述
  - 1.1 什么是网络爬虫
    - 1.1.1 网络爬虫的应用领域
    - 1.1.2 网络爬虫的作用
  - 1.2 网络爬虫原理
    - 1.2.1 网络爬虫的基本流程
    - 1.2.2 网络爬虫的数据提取方法
  - 1.3 反爬虫
    - 1.3.1 反爬虫的手段
    - 1.3.2 破解反爬虫的思路
  - 1.4 开发网络爬虫常用的库
    - 1.4.1 Python开发网络爬虫的优势
    - 1.4.2 网络请求库
    - 1.4.3 数据提取库
    - 1.4.4 常用网络爬虫框架
- 第2章超文本传送协议（HTTP）分析
  - 2.1 HTTP原理
    - 2.1.1 HTTP简介
    - 2.1.2 HTTP的主要特点
    - 2.1.3 统一资源标识符（URI）
    - 2.1.4 请求数据包
    - 2.1.5 响应数据包
  - 2.2 Chrome浏览器开发者工具使用
    - 2.2.1 打开开发者工具
    - 2.2.2 使用Elements面板分析HTML
    - 2.2.3 使用Network面板分析网络请求
    - 2.2.4 使用Console面板
- 第3章 urllib库使用
  - 3.1 获取网页内容
    - 3.1.1 使用urllib库获取网页内容
    - 3.1.2 urlopen参数
    - 3.1.3 Request对象
  - 3.2 发送get请求
    - 3.2.1 get请求的特点
    - 3.2.2 请求参数设置
  - 3.3 发送post请求
    - 3.3.1 post请求的特点
    - 3.3.2 post请求实例
  - 3.4 修改useragent
    - 3.4.1 使用fake-useragent库
    - 3.4.2 设置useragent
  - 3.5 使用代理
    - 3.5.1 代理介绍
    - 3.5.2 使用代理服务器
    - 3.5.3 创建打开器
  - 3.6 使用cookie
    - 3.6.1 cookie和session
    - 3.6.2 使用cookielib
    - 3.6.3 获取登录后的cookie
  - 3.7 显示调试信息
- 第4章 Requests库的使用
  - 4.1 Requests库
    - 4.1.1 Requests库介绍
    - 4.1.2 Requests库安装
  - 4.2 Requests库基本使用
    - 4.2.1 发送请求
    - 4.2.2 传递URL参数
    - 4.2.3 响应内容
    - 4.2.4 定制请求头
    - 4.2.5 JSON响应内容
  - 4.3 Requests库高级用法
    - 4.3.1 设置代理
    - 4.3.2 使用cookies
    - 4.3.3 session会话对象
    - 4.3.4 安全的HTTPS请求
    - 4.3.5 超时设置
- 第5章数据提取
  - 5.1 使用正则表达式
    - 5.1.1 正则表达式语法介绍
    - 5.1.2 正则表达式的其他使用
  - 5.2 使用Beautiful Soup 4
    - 5.2.1 Beautiful Soup简介
    - 5.2.2 Beautiful Soup安装
    - 5.2.3 创建Beautiful Soup对象
    - 5.2.4 Beautiful Soup基本使用方法
  - 5.3 使用XPath
    - 5.3.1 lxml库简介和安装
    - 5.3.2 选取节点
    - 5.3.3 节点间的关系
    - 5.3.4 谓语的使用
    - 5.3.5 XPath运算符
- 第6章 Scrapy爬虫框架
  - 6.1 Scrapy框架简介和安装
    - 6.1.1 Scrapy框架介绍
    - 6.1.2 安装Scrapy框架
  - 6.2 项目创建和项目目录介绍
    - 6.2.1 创建一个网络爬虫项目
    - 6.2.2 项目目录分析
  - 6.3 编写网络爬虫
    - 6.3.1 创建网络爬虫
    - 6.3.2 Scrapy Shell的使用
    - 6.3.3 自动翻页
  - 6.4 Item和Pipeline
    - 6.4.1 使用Item
    - 6.4.2 Item Pipeline介绍
    - 6.4.3 编写Pipeline
    - 6.4.4 保存数据到MySQL数据库
  - 6.5 中间件
    - 6.5.1 下载中间件三大函数
    - 6.5.2 激活Spider中间件
    - 6.5.3 开发代理中间件
- 第7章 API数据采集
  - 7.1 什么是API
    - 7.1.1 HTTP方法及API简介
    - 7.1.2 API响应
  - 7.2 无文档API
    - 7.2.1 查找无文档API
    - 7.2.2 自动查找和记录API
- 第8章图像识别与文字处理
  - 8.1 OCR图像识别库
    - 8.1.1 Pillow
    - 8.1.2 OpenCV
    - 8.1.3 Tesseract
    - 8.1.4 NumPy
  - 8.2 处理格式规范的文字
    - 8.2.1 自动调整图像
    - 8.2.2 从网站图片中采集文字
  - 8.3 读取验证码与训练
  - 8.4 获取验证码并提交答案
- 第9章远程数据采集
  - 9.1 为什么要用远程服务器
    - 9.1.1 避免IP 地址被封杀
    - 9.1.2 移植性与扩展性
  - 9.2 远程主机
    - 9.2.1 从网站主机运行
    - 9.2.2 从云主机运行
- 第10章网页数据采集的法律与道德约束
  - 10.1 商标、版权、专利
  - 10.2 侵犯财产
  - 10.3 robots.txt和服务协议
  - 10.4 避开数据采集陷阱
    - 10.4.1 修改请求头
    - 10.4.2 用JavaScript 处理cookie
  - 10.5 常见表单安全措施
    - 10.5.1 隐含输入字段值
    - 10.5.2 避免蜜罐
- 第11章项目实战：招聘分析监控系统—数据采集子系统
  - 11.1 系统概述
    - 11.1.1 招聘分析监控系统总体介绍
    - 11.1.2 数据采集子系统介绍
  - 11.2 数据采集子系统各模块详细介绍
    - 11.2.1 URL Spider
    - 11.2.2 Data Spider
    - 11.2.3 反爬机制
    - 11.2.4 Web爬虫管理模块
    - 11.2.5 数据预处理
    - 11.2.6 Redis表设计
  - 11.3 数据采集子系统关键代码
    - 11.3.1 网络爬虫模块
    - 11.3.2 代理池
    - 11.3.3 请求头池
  - 11.4 数据采集子系统项目部署
    - 11.4.1 系统环境搭建
    - 11.4.2 项目部署
  - 11.5 运营管理
    - 11.5.1 管理系统登录
    - 11.5.2 页面概览
    - 11.5.3 创建项目及部署
    - 11.5.4 网络爬虫运行及任务管理
    - 11.5.5 系统监控
  - 11.6 Redis服务与配置
- 参考文献

所在地区	请选择 
详细地址
收货人
联系电话
设为默认	设为默认收货地址

数据采集与预处理

相关图书

数据采集技术—Python网络爬虫项目化教程

黄锐军

数据分析技术——Python数据分析项目化教程

薛国伟

数据分析技术——Python数据分析项目化教程

薛国伟

数据分析技术——Python数据分析项目化教程

薛国伟

数据可视化

史小英李圣良徐希炜

数据可视化

史小英李圣良徐希炜

大数据离线分析系统安装部署（Hadoop）

于洁马维旻吴俊

数据存储与分析

朱旭刚曹建春任洪亮

数据采集技术——Python网络爬虫项目化教程（第2版）

黄锐军

Hadoop大数据平台构建与应用（第2版）

米洪陈永

Hadoop大数据平台构建与应用（第2版）

米洪陈永

工业互联网数据分析技术

卢鑫吕士云高波

Python数据分析与挖掘

吴杏梁毅娟李倩

大数据基础

胡坚张红

大数据基础

胡坚张红

数据采集与预处理

相关图书

黄锐军

薛国伟

薛国伟

薛国伟

史小英 李圣良 徐希炜

史小英 李圣良 徐希炜

于洁 马维旻 吴俊

朱旭刚 曹建春 任洪亮

黄锐军

米洪 陈永

米洪 陈永

卢鑫 吕士云 高波

吴杏 梁毅娟 李倩

胡坚 张红

胡坚 张红

史小英李圣良徐希炜

史小英李圣良徐希炜

于洁马维旻吴俊

朱旭刚曹建春任洪亮

米洪陈永

米洪陈永

卢鑫吕士云高波

吴杏梁毅娟李倩

胡坚张红

胡坚张红