前段时间我妈突然问我：儿子，爬虫是什么时既惊讶又尴尬，惊讶的是为什么我妈会对爬虫好奇的是我该怎么给她解释呢p>
一、爬虫介绍
1.爬虫是什么
络爬虫(web crawler 简称爬虫)就是按照一定规则从互联 上抓取信息的程序，既然是程序那和正常用户访问页面有何区别与用户正常访问信息的区别就在于：用户是缓慢、少量的获取信息，而爬虫是大量的获取信息。
2.爬虫案例
既然爬虫是大量抓取 页，那是不是爬虫都是不好的呢当然不是，可以说我们的日常上 已经离不开爬虫了，为什么这么说我就为大家盘点几个爬虫日常应用：
-
搜索引擎：如Google、百度、雅虎、搜狗、必应等等很多搜索引擎其本质就是一个（可能多个）巨大爬虫，这些搜索引擎工作原理是：页面收录->页面分析->页面排序->响应关键字查询，也就是说它会先把互联 上很多页面保存到服务器，然后分析 页内容建立关键字索引，最后用户输入关键字的时候去查询内容，然后根据相关性排序（百度害人的竞价排名毫无相关性可言），第一步的页面收录就是爬虫，百度查看一个 站有多少 页被收录方法，百度输入：site:你想查询的 站，如：site:blog.csdn.net。
二、爬虫的价值
从上面举的几个例子来看，爬虫对整个互联 的价值真的无法估量，那对于小我而言，爬虫能给我们带来哪些价值p>
1.隐形的翅膀
如果你问我学完Python基础之后该学习什么技能毫不犹疑的说爬虫，为什么是爬虫p>
- 爬虫相对其他技能简单易学，且效果立即可见，会有一定的成就感
- 在国内，很多企业巴不得你啥都会，所以在应聘时，爬虫会是一个不错的加分项
2.看不见的商战
职场对话：
老板：小明给你个重要任务。
小明：就算996我也在所不辞（第一次接到老板的直接需求）！
老板：你能不能搞到竞争对手的商品价格r> 小明：没问题（牛逼先吹出去），小事！
老板：这可不是小事，只要你能持续获取竞品价格，我们就可以标价低于他们一点点，持续如此大家就知道我们的价格肯定是比他们低，这样大家就直接来我们这里购买商品了，到时候庆功宴上你就是最大功臣（先画个饼）。
小明：老板牛逼，老板英明！3.会爬虫就可以创业
工作之后很多同学会利用上班空余时间，来做自己的东西或者项目，别看开始是一个小打小闹的东西，慢慢丰富将来也许会成为一款成熟的产品。
而爬虫可以让你很轻松的实现自己的产品，做的好的话就可以创业。这里查理给大家列几个简单的创业项目，当然作为一个思维引导。
我们在百度robots协议的最下面，有这样一条：
这表示除上面那些定义过的爬虫以外其他爬虫都不允许爬取百度任何东西！
2.法律
我们都知道在发起请求时User-agent是可以自定义的，也就是说我们可以绕过robots协议和以User-agent来定义的反爬虫技术，所以robots协议可能更像一个君子协议，那咱们国家有没有法律明文规定呢来了解一下非法侵入计算机信息系统罪：
第二百八十五条 非法侵入计算机信息系统罪：违反国家规定，侵入前款规定以外的计算机信息系统或者采用其他技术手段，获取该计算机信息系统中存储、处理或者传输的数据，或者对该计算机信息系统实施非法控制，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。
我们可以看到重点信息：入侵计算机获取数据是违法的，也就是说爬虫技术本身是无罪的，因为它是获取的公开信息，并未非法入侵计算机。但是如果你用爬取到的数据去从事商业化操作，那也许就构成了违法犯罪行为！
给大家介绍下因爬虫而被判刑的案件：
- 头条爬虫官司：dwz.cn/qBBHc2fq
- 酷米客公司官司：dwz.cn/9IpAOHGB
- 360和百度爬虫官司：dwz.cn/RGRa3HJc
我发现这几起案件的通性有两点：1、公司性质。2、竞争对手。3、被人家找到线索。
最后提醒大家：技术人，要守住自己的底线，违反国家法律法规的事情咱们坚决不能做！
3.反爬虫工程师
本来想采访一位携程反爬虫工程师，但是他说由于工作保密原因不便接受采访，所以只好尊重他的决定，在这里也给大家说声抱歉！
四、爬虫现状
之前查理说过互联 中有超过50%的流量来自爬虫，那我们就来简单聊聊目前爬虫的现状吧！
1.技术
反爬虫几乎和爬虫同时诞生，它们是相爱相杀的连个技术，如果没有爬虫就没有反扒，而反扒技术又反过来又可以促进爬虫技术的发展。
- 交互问题：各种变态的验证码充斥，尤其是12306，分分钟都想爆粗口，以后会越来越变态。。。
- js加密：最近很流行的一种反扒技术，会爬虫还得先学js，然后反爬虫工程师在js里面各种投毒，杀人诛心。。。
- IP限制：限制单个ip某段时间内访问次数
查理只介绍了一些反扒技术，当然都有现成的技术解决，但是作为爬虫员最重的并不是会使用工具或框架去应对反扒，而是能通过自己的思考和摸索破解反扒，因为反扒技术更新快且多样化。
3.前景
现在很多人并不看好爬虫的前景，只搞爬虫的话技术只停留在当前水平，不再学习新知识，不再进步的话，那么是没有前途的，总有一天会被时代淘汰，其实其他职位也只如此。
二、学习软件
工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。
五、面试资料
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联 大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。
这份完整版的Python全套学习资料已经上传CSDN
朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】。声明：本站部分文章及图片源自用户投稿，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！