最近我学习和实践 络爬虫，总想着在这儿抓点数据在那儿抓点数据。

但不知为什么，抓取别人 站数据时，总会产生莫名恐慌生怕自己一不小心就侵权了，然后被关在监狱摩擦

所以我想现在这个时候，非常有必要仔细研究一下有关 络爬虫的规则和底线。

我们生活中几乎每天都在爬虫应用，如百度，你在百度中搜索到的内容几乎都是爬虫采集下来的(百度自营的产品除外，如百度知道、百科等)，所以 络爬虫作为一门技术，技术本身是不违法的。

哪些情况下 络爬虫采集数据后具备法律风险/p>

比如淘宝 ，大家来看淘宝的声明。

当 站声明了rebots协议时

Robots协议（也称为爬虫协议、机器人协议等）的全称是“ 络爬虫排除标准”（Robots Exclusion Protocol）， 站通过Robots协议告诉爬虫哪些页面可以抓取，哪些页面不能抓取。

如何查看采集的内容是的有rebots协议/strong>

其实方法很简单。你想查看的话就在IE上打http://你的 址/robots.txt要是说查看分析robots的话有专业的相关工具 站长工具就可以!

爬虫作为一种计算机技术就决定了它的中立性，因此爬虫本身在法律上并不被禁止，但是利用爬虫技术获取数据这一行为是具有违法甚至是犯罪的风险的。

举个例子：像谷歌这样的搜索引擎爬虫，每隔几天对全 的 页扫一遍，供大家查阅，各个被扫的 站大都很开心。这种就被定义为“善意爬虫”。但是像抢票软件这样的爬虫，对着 12306 每秒钟恨不得撸几万次，铁总并不觉得很开心，这种就被定义为“恶意爬虫”。

爬虫所带来风险主要体现在以下3个方面：

• 违反 站意愿，例如 站采取反爬措施后，强行突破其反爬措施；
• 爬虫干扰了被访问 站的正常运营；
• 爬虫抓取了受到法律保护的特定类型的数据或信息。

解释一下爬虫的定义： 络爬虫（英语：web crawler），也叫 络蜘蛛（spider），是一种用来自动浏览万维 的 络机器人。

络爬虫抓取的数据有如下规则：

• 数据完全公开
• 不存在也无法做到越权访问爬取

常见错误观点：认为爬虫就是用来抓取个人信息的，与信用基础数据相关的。

总的来说，技术本无罪，但是你利用技术爬取别人隐私、商业数据，那你就是蔑视法律了

文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树首页概览208347 人正在系统学习中