本来这篇文章不想爬百度的,但是想到有人可能看到我上一篇博客之后,回去自己去爬百度美眉图
我也敢说,有很大一部分人学习爬虫都有爬百度美眉的想法,不然会感觉世界缺少了点啥,O(∩_∩)O哈哈~
上一篇文章也说了,百度不是那么容易爬的,因为百度的图片不是在html 页中直接展示的,给你展示的只是很少一部分。他们采用了AJAX(异步JavaScript和XML)
这样做的目的不是为了反爬虫,是因为这样节约 络流量啊,不用全部给你展示出来,当时鼠标发生某些动作之后再给你返回你想要的东西,这样就基本没有浪费了
那现在就带你look look,看我是如何解析动态页面的。
1.打开百度,搜索美女,如下:
选中Network,再按F5 刷新一下
这个是我找出来的,每个 站都不一样,你可以自己去找。
当你一看右边那么多的内容,然后还有美女啥的,这时候你的第7感就要起作用啊,很有可能是这个链接啊,你再往右边滑动一下
OK—-开始装B
美美哒,不过这次我找了1500张图片少了9张图片,也在我能理解的范围,我就没管了。
O(∩_∩)O哈哈~
现在你可以去爬各大 站啦。开始秀出你的技能。注意悠着点
文章知识点与官方知识档案匹配,可进一步学习相关知识Python入门技能树 络爬虫Scrapy框架211385 人正在系统学习中
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!