嘿，大家好，我是4U。目前当下很多行业都需要爬大数据来分析行业数据或者产品数据，当然是离不开爬大数据来分析的啦。大家在使用“爬虫”爬数据的时候是否有发现，越来越多的 站都有自己的反爬机制，抓取数据已经不像以前那么容易获取了，目前常见的反爬机制主要有以下几种：
嘱咐大家一句，爬虫世界确实很有意思，技术是无罪的，学习是可以的，但还是实际操作就要适可而止了，不要触碰到法律的边界线。
此内容仅供学习交流，请勿因个人意愿和举动触碰到法律的边界线，文明学习技术，请勿扰乱 络安全。
数据是通过动态加载的，比如某博，某日头条，某站，某音，某红书等等
需要登录，需要验证码，比如铁路12306，某宝，某东，某品会。
请求次数频繁，IP地址在同一时间访问次数过多，导致IP被冰封~
数据屏蔽方式，比如访问的数据不在源码中，数据隐藏在js中，比如今日分享，b站
站为什么要设置反爬机制？有两个原因，一是为了保护 站安全，减轻服务器压力，另一个原因则是为了保护 站数据安全。
爬虫技术者与反爬技术者一直以来就像是左右手互博，你有反爬机制，我就有反反爬技术，即见即可爬，道高一尺魔高一丈。
?
今天为大家详细介绍 站的反爬虫机制和实用的应对方法，一般 站从三个方面反爬虫：
前两种比较容易遇到，大多数 站都从这些角度来反爬虫。第三种一些应用ajax的 站会采用，这样增大了爬取的难度（防止静态爬虫使用ajax技术动态加载页面）。
1、从用户请求的Headers反爬虫。
这种是最常见的反爬机制，在访问某些 站的时候， 站通常会用判断访问是否带有头文件来鉴别该访问是否为爬虫，用来作为反爬取的一种策略。
那我们就需要伪装headers。很多 站都会对Headers的User-Agent进行检测，还有一部分 站会对Referer进行检测（一些资源 站的防盗链就是检测Referer）。
如果遇到了这类反爬虫机制，可以直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的Headers中；或者将Referer值修改为目标 站域名。
如图，访问头信息中显示了浏览器以及系统的信息（headers所含信息众多，其中User-Agent就是用户浏览器身份的一种标识，具体可自行查询）
Python中urllib中的request模块提供了模拟浏览器访问的功能，代码如下：
可以通过<code>add_header(key, value)</code> 或者直接以参数的形式和URL一起请求访问
其中headers是一个字典，通过这种方式可以将爬虫模拟成浏览器对 站进行访问。
?
2、基于用户行为反爬虫
还有一部分 站是通过检测用户行为，例如同一IP短时间内多次访问同一页面，或者同一账户短时间内多次进行相同操作。
这种防爬，需要有足够多的ip来应对。
（1）大多数 站都是前一种情况，对于这种情况，使用IP代理就可以解决。可以专门写一个爬虫，爬取 上公开的代理ip，检测后全部保存起来。有了大量代理ip后可以每请求几次更换一个ip，这在requests或者urllib中很容易做到，这样就能很容易的绕过第一种反爬虫。
编写爬虫代理：
步骤：
参数是一个字典{‘类型’：‘代理ip：端口 ’}<br> proxy_support=
urllib.request.ProxyHandler({})
定制、创建一个openeropener=
urllib.request.build_opener(proxy_support)
安装opener
urllib.request.install_opener(opener)
调用opener
opener.open(url)
用大量代理随机请求目标 站，应对爬虫攻击
（2）对于第二种情况，可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的 站，可以通过请求几次，退出登录，重新登录，继续请求来绕过同一账 短时间内不能多次进行相同请求的限制。
对于账户做防爬限制，一般难以应对，随机几秒请求也往往可能被封，如果能有多个账户，切换使用，效果更佳。
3、动态页面的反爬虫
上述的几种情况大多都是出现在静态页面，还有一部分 站，我们需要爬取的数据是通过ajax请求得到，或者通过Java生成的。
解决方案：Selenium+PhantomJS
Selenium：自动化web测试解决方案，完全模拟真实的浏览器环境，完全模拟基本上所有的用户操作
PhantomJS ：一个没有图形界面的浏览器
比如获取某宝的个人详情地址：
4.总结
最后给大家总结一下前面所讲的反爬机制应对策略（反爬）：
最后嘱咐大家一句，爬虫世界确实很有意思，技术是无罪的，学习是可以的，但还是实际操作就要适可而止了，不要触碰到法律的边界线。
此内容仅供学习交流，请勿因个人意愿和举动触碰到法律的边界线，文明学习技术，请勿扰乱 络安全。
声明：本站部分文章及图片源自用户投稿，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！