Python网络爬虫从入门到实践2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

Python网络爬虫从入门到实践PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 网络爬虫入门1

1.1 为什么要学网络爬虫2

1.1.1 网络爬虫能带来什么好处2

1.1.2 能从网络上爬取什么数据3

1.1.3 应不应该学爬虫3

1.2 网络爬虫是否合法3

1.2.1 Robots协议4

1.2.2 网络爬虫的约束5

1.3 网络爬虫的基本议题6

1.3.1 Python爬虫的流程7

1.3.2 三个流程的技术实现7

第2章 编写第一个网络爬虫8

2.1 搭建Python平台9

2.1.1 Python的安装9

2.1.2 使用pip安装第三方库10

2.1.3 使用编译器Jupyter编程11

2.2 Python使用入门13

2.2.1 基本命令13

2.2.2 数据类型14

2.2.3 条件语句和循环语句15

2.2.4 函数16

2.2.5 面向对象编程17

2.3 编写第一个简单的爬虫21

2.3.1 第一步：获取页面22

2.3.2 第二步：提取需要的数据23

2.3.3 第三步：存储数据24

2.4 Python实践：基础巩固25

2.4.1 Python基础试题26

2.4.2 参考答案27

2.4.3 自我实践题30

第3章 静态网页抓取31

3.1 安装Requests32

3.2 获取响应内容32

3.3 定制Requests33

3.3.1 传递URL参数33

3.3.2 定制请求头34

3.3.3 发送POST请求35

3.3.4 超时36

3.4 Requests爬虫实践：TOP250电影数据36

3.4.1 网站分析37

3.4.2 项目实践37

3.4.3 自我实践题39

第4章 动态网页抓取40

4.1 动态抓取的实例41

4.2 解析真实地址抓取42

4.3 通过Selenium模拟浏览器抓取47

4.3.1 Selenium的安装与基本介绍47

4.3.2 Selenium的实践案例48

4.3.3 Selenium获取文章的所有评论49

4.3.4 Selenium的高级操作52

4.4 Selenium爬虫实践：深圳短租数据55

4.4.1 网站分析55

4.4.2 项目实践57

4.4.3 自我实践题60

第5章 解析网页61

5.1 使用正则表达式解析网页62

5.1.1 re.match方法62

5.1.2 re.search方法64

5.1.3 re.findall方法64

5.2 使用BeautifulSoup解析网页66

5.2.1 BeautifulSoup的安装66

5.2.2 使用BeautifulSoup获取博客标题67

5.2.3 BeautifulSoup的其他功能68

5.3 使用lxml解析网页72

5.3.1 lxml的安装72

5.3.2 使用lxml获取博客标题72

5.3.3 XPath的选取方法74

5.4 总结75

5.5 BeautifulSoup爬虫实践：房屋价格数据76

5.5.1 网站分析76

5.5.2 项目实践77

5.5.3 自我实践题79

第6章 数据存储80

6.1 基本存储：存储至TXT或CSV81

6.1.1 把数据存储至TXT81

6.1.2 把数据存储至CSV82

6.2 存储至MySQL数据库84

6.2.1 下载安装MySQL85

6.2.2 MySQL的基本操作88

6.2.3 Python操作MySQL数据库92

6.3 存储至MongoDB数据库94

6.3.1 下载安装MongoDB95

6.3.2 MongoDB的基本概念98

6.3.3 Python操作MongoDB数据库99

6.3.4 RoboMongo的安装与使用101

6.4 总结102

6.5 MongoDB爬虫实践：虎扑论坛103

6.5.1 网站分析103

6.5.2 项目实践104

6.5.3 自我实践题110

第7章 提升爬虫的速度111

7.1 并发和并行，同步和异步112

7.1.1 并发和并行112

7.1.2 同步和异步112

7.2 多线程爬虫113

7.2.1 简单单线程爬虫114

7.2.2 学习Python多线程114

7.2.3 简单的多线程爬虫117

7.2.4 使用Queue的多线程爬虫120

7.3 多进程爬虫122

7.3.1 使用multiprocessing的多进程爬虫122

7.3.2 使用Pool＋Queue的多进程爬虫124

7.4 多协程爬虫127

7.5 总结129

7.5.1 回顾多线程、多进程、多协程129

7.5.2 性能对比130

第8章 反爬虫问题132

8.1 为什么会被反爬虫133

8.2 反爬虫的方式有哪些133

8.2.1 不返回网页134

8.2.2 返回非目标网页134

8.2.3 获取数据变难135

8.3 如何“反反爬虫”135

8.3.1 修改请求头135

8.3.2 修改爬虫的间隔时间136

8.3.3 使用代理139

8.4 总结140

第9章 解决中文乱码141

9.1 什么是字符编码142

9.2 Python的字符编码encode和decode144

9.3 解决中文编码问题146

9.3.1 问题1：获取网站的中文显示乱码147

9.3.2 问题2：非法字符抛出异常148

9.3.3 问题3：网页使用gzip压缩149

9.3.4 问题4：读写文件的中文乱码150

9.4 总结152

第10章 登录与验证码处理153

10.1 处理登录表单154

10.1.1 处理登录表单154

10.1.2 处理cookies，让网页记住你的登录158

10.1.3 完整的登录代码160

10.2 验证码的处理162

10.2.1 如何使用验证码验证163

10.2.2 人工方法处理验证码164

10.2.3 OCR处理验证码167

10.3 总结169

第11章 服务器采集170

11.1 为什么使用服务器采集171

11.1.1 大规模爬虫的需要171

11.1.2 防止IP地址被封杀171

11.2 使用动态IP拨号服务器172

11.2.1 购买拨号服务器172

11.2.2 登录服务器172

11.2.3 使用Python更换IP174

11.2.4 结合爬虫和更换IP功能175

11.3 使用Tor代理服务器176

11.3.1 Tor的安装177

11.3.2 Tor的使用180

第12章 分布式爬虫184

12.1 安装Redis185

12.2 修改Redis配置188

12.2.1 修改Redis密码188

12.2.2 让Redis服务器被远程访问188

12.2.3 使用Redis Desktop Manager管理189

12.3 Redis分布式爬虫实践189

12.3.1 安装Redis库190

12.3.2 加入任务队列190

12.3.3 读取任务队列并下载图片191

12.3.4 分布式爬虫代码192

12.4 总结194

第13章 爬虫实践一：维基百科195

13.1 项目描述196

13.1.1 项目目标196

13.1.2 项目描述196

13.1.3 深度优先和广度优先198

13.2 网站分析199

13.3 项目实施：深度优先的递归爬虫201

13.4 项目进阶：广度优先的多线程爬虫203

13.5 总结207

第14章 爬虫实践二：知乎Live208

14.1 项目描述209

14.2 网站分析209

14.3 项目实施212

14.3.1 获取所有Live212

14.3.2 获取Live的听众215

14.4 总结218

第15章 爬虫实践三：百度地图API219

15.1 项目描述220

15.2 获取API秘钥221

15.3 项目实施222

15.3.1 获取所有拥有公园的城市224

15.3.2 获取所有城市的公园数据225

15.3.3 获取所有公园的详细信息229

15.4 总结233

第16章 爬虫实践四：餐厅点评234

16.1 项目描述235

16.2 网站分析235

16.3 项目实施237

16.3.1 获取深圳的餐厅列表237

16.3.2 获取餐厅的详细信息242

16.4 总结244