事情是这样的
亚马逊是全球最大的购物平台
很多商品信息、用户评价等等都是最丰富的。
今天，手把手带大家，越过亚马逊的反爬虫机制
爬取你想要的商品、评论等等有用信息
反爬虫机制
但是，我们想用爬虫来爬取相关的数据信息时
像亚马逊、TBao、JD这些大型的购物商城
他们为了保护自己的数据信息，都是有一套完善的反爬虫机制的
先试试亚马逊的反爬机制
我们用不同的几个python爬虫模块，来一步步试探
最终，成功越过反爬机制。
一、urllib模块
代码如下：
返回结果：状态码：503。
分析：亚马逊将你的请求，识别为了爬虫，拒绝提供服务。
本着科学严谨的态度，我们拿万人上的百度试一下。
返回结果：状态码 200
分析：正常访问
那说明，urllib模块的请求，被亚马逊识别为爬虫，并拒绝提供服务
二、requests模块
1、requests直接爬虫访问
效果如下 ↓ ↓ ↓
代码如下 ↓ ↓ ↓
返回结果：状态码：503。
分析：亚马逊同样拒绝了requsets模块的请求
将其识别为了爬虫，拒绝提供服务。
2、我们给requests加上cookie
加上请求cookie等相关信息
效果如下 ↓ ↓ ↓
代码如下 ↓ ↓ ↓
返回结果：状态码：200
分析：返回状态码是200了，正常了，有点爬虫那味了。
3、检查返回页面
我们通过requests+cookie的方法，得到的状态码为200
目前至少被亚马逊的服务器正常提供服务了
我们将爬取的页面写入文本中，通过浏览器打开。
我踏马…返回状态是正常了，但返回的是一个反爬虫的验证码页面。
还是 被亚马逊给挡住了。
三、selenium自动化模块
相关selenium模块的安装
代码中引入selenium，并设置相关参数
测试访问
返回结果：状态码：200
分析：返回状态码是200了，访问状态正常，我们再看看爬到的 页信息。
将 页源码保存到本地
打开我们爬取的本地文件，查看 ，
我们已经成功越过了反爬虫机制，进入到了Amazon的首页
结局
通过selenium模块，我们可以成功的越过
亚马逊的反爬虫机制。
如何获取源码：
①3000多本Python电子书有
②Python开发环境安装教程有
③Python400集自学视频有
④软件开发常用词汇有
⑤Python学习路线图有
⑥项目源码案例分享有
如果你用得到的话可以直接拿走，在我的QQ技术交流群里群 ：739021630（纯技术交流和资源共享，广告勿入）以自助拿走
点击这里 领取
文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树 络爬虫Selenium208102 人正在系统学习中 Python源码
声明：本站部分文章及图片源自用户投稿，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！