最最后一篇python 络爬虫

• 实现 络爬取的注意事项
• 其他爬取的辅助工具介绍
• 络爬虫总结
• 最后把整个系列的链接贴在这里

实现 络爬取的注意事项

这里我们简单总结一下实现 络爬虫需要注意的方面

其他爬取的辅助工具介绍

1.代理服务器 ： 我们使用代理ip来进行爬取，这样可以防止当你的请求被检测出异常时， 站管理者封IP时，不会导致你自己的IP永久性的无法访问这个 站

2.lxml库 ：一个强大的HTML解析库，它通过将爬取的 页重新构造为一棵树来实现对里面内容的整理，我们同样可以使用xpath语法在里面进行查找

3.Scrapy库：这个库的名字就是爬取，所以它是一个综合爬取 站并提取数据的python库。通常它用来部署运行在云端的 络爬虫，在服务器上托管爬虫让它一天二十四小时不间断的为你爬取内容

4.Fiddler : 一个强大的抓包软件，不仅可以抓取浏览器的交互状态还可以抓取应用的交互状态，可以说非常强大了

上面的几个辅助工具感兴趣的同学可以在CSDN或者其他平台寻找资料学习哟！

当然如果评论区有小伙伴想要我出教程也是可以的哟（虽然俺比较懒）

络爬虫总结

终于写完了 络爬虫整个系列的博客（后面可能还会有，随缘），这是我第一次写博客所以很多不足的地方还请大家多多包涵，在评论区或者私信，提建议给我哟（每条我都会回复的！）这里稍微总结一下 络爬虫的基本框架和学习内容

1. 首先我们学习了 络传输协议HTTP的基本内容，了解了计算机通信架构的七个层面
2. 然后我们学习了python中非常好用的requests库，我们通过几行简单的代码就能将整个 页爬取下来

3. 学习了HTML和CSS的基本知识后，我们学习了Beautiful Soup的基本用法和两个最常用的查找元素的方法：find 和 find_all

4. 稍微学习了一点点正则表达式相关
5. 然后就是提交表单和post请求（requests库）来模拟登录或者提交表单
6. 之后我们学会了构造头来保护自己免受反爬虫机制的干扰
7. 我们学习了cookie的重要性还有requests库中的session类
8. 然后就是模拟浏览器动作的selenium库的学习
9. 最后我们完成了爬取 页文本、 页中的图片下载、批量下载翻页图片的几个实战任务

完结撒花！！！

最后把整个系列的链接贴在这里

从小白开始学python- 络爬虫一 （requests库的介绍）

从小白开始学python- 络爬虫二 （HTML、 CSS、Beautiful Soup介绍）

从小白开始学python 络爬虫三 （使用表单和post请求）

从小白开始学python- 络爬虫四 （cookie、session、实战：下载图片）

从小白开始学python- 络爬虫五 （Selenium、xpath、实战：自动搜索）

从小白开始学python- 络爬虫六 实战篇（使用requests，beautiful soup，selenium爬取批量图片）

看到这里就帮忙点个赞呗！

文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树 络爬虫urllib211392 人正在系统学习中