基于Python的 络爬虫开发与实现

目录
1 绪论 1
1.1选题背景 1
1.1.1课题的国内外的研究现状 1
1.1.2课题研究的必要性 2
1.2课题研究的内容 2
2 开发软件平台介绍 4
2.1 软件开发平台 4
2.2 开发语言 6
3 络爬虫总体方案 8
3.1 系统组成 8
3.2 工作原理 8
4模块化设计 9
4.1 Tkinter图形界面模块 9
4.1.1图形模块的略解 9
4.1.2图形模块与其他模块的交互 9
4.2 爬虫模块 13
4.2.1 requests库的说明及选择 13
4.2.2 bs4的说明及使用 15
4.2.3 json的说明及使用 17
4.2.4 爬虫整体的流程解析 19
4.3 数据分析模块 21
4.4 请求头及代理池模块 24
4.4.1 24
5实验结论与发展前景 25
5.1低层实现代码 25
5.2 数据分析结果图 26
5.3 xlsx文件 26
6参考文献 29
7致谢 30
3 络爬虫总体方案
3.1 系统组成
主要由四个.py文件构成：crawl_views.py、crawl_ZL.py、data_views.py、Against_Reptilia_solve.py，分别负责图像界面、 络爬虫、数据分析、反爬虫模块。