摘要:当代万维 和互联 技术发展迅猛，有时候在浏览某些 页、相册或者某些图片 站时，发现很多图片都很喜欢想要下载到本地，但是数量较多时操作会过于繁琐。此爬虫软件是为了使用户能够便捷的获取并下载某些 站的图片，它的最终目的是能够实现对大多数 站进行成功的获取并下载。 络爬虫是一个能够对 页实现自动提取的程序，在搜索引擎中，从万维 上它能为其下载 页，故是组成搜索引擎的重要部分。本软件由Python语言进行开发，并采用已有的比较成熟的Scrapy架构进行图片相关的URL分析处理以及下载。经过测试与修改一段时间后，已经基本实现了并可应用到对个别 站的爬取，使本软件的可运用的范围达到更大的扩展。
关键词 ：爬虫；万维 ；Python；Scrapy架构
目录
摘要
Abstract
1 绪论-1
1.1 选题的目的和意义-1
1.2 国内外文献综述-1
1.3 论文研究内容-2
2 系统设计说明-3
2.1 系统设计的背景和意义-3
2.2 系统设计的目标-3
2.3 设计原则-3
2.3.1 可靠性原则-3
2.3.2 效率性原则-3
2.3.3 实用性原则-3
3 系统分析-4
3.1 络爬虫工作原理-4
3.2 可行性分析-5
3.2.1 可行性研究的前提-5
3.2.2 技术可行性-5
3.2.3 可行性操作-5
3.2.4 会可行性-6
3.2.5 经济可行性-6
3.3 软件运行和开发环境-6
4 开发技术及工具-7
4.1 开发技术介绍-7
4.1.1 Python语言特点-7
4.1.2 Scrapy架构技术-7
4.2 开发工具介绍-8
5 系统设计-9
5.1 爬虫体系结构-9
5.2 爬虫的概要设计-10
6 详细设计与实现-11
6.1 爬虫模块化-11
6.2 爬虫具体流程设计-11
6.2.1 起始URL的爬取-11
6.2.2 封装URL成应答包（Response）-11
6.2.3 爬虫解析应答包-12
6.2.4 解析出项目（Item），交给管道处理-12
6.2.5 返回需要爬取的URL到调度器-12
7 爬虫爬取结果-13
7.1 百度贴吧-13
7.2 豆瓣相册-14
结 论-15
致 谢-17
文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树 络爬虫urllib208363 人正在系统学习中 相关资源：PHP寄生虫繁殖劫持程序V3.0_寄生虫程序-PHP代码类资源-CSDN文库
声明：本站部分文章及图片源自用户投稿，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！