分布式 络爬虫就是多台电脑上都安装 络爬虫程序，重点是联合采集。单机 络爬虫就是只在一台电脑上，叫做单机。前嗅的ForeSpider数据采集系统就有单机和 络服务器版，比如只在一台 络服务器上的 络爬虫，虽然开了多进程，但还是 络服务器单机的。但是假如在多个 络服务器上，而且可以协同采集，就是分布式的。
分布式 络爬虫
分布式 络爬虫可以分为若干个分布式层级，不同的应用可能由其中部分层级构成，下图是一个大型分布式 络爬虫的3个层级：分布式数据中心、分布式抓取 络服务器及分布式 络爬虫程序。整个 络爬虫系统由全球多个分布式数据中心共同构成，每一个数据中心负责抓取本地域周边的 站 页。
对等式分布 络爬虫(Peer to Peer)
在对等式分布 络爬虫体系中， 络服务器之间不存在分工差异，每台 络服务器承担相同的功能，各自负担一部分URL的抓取工作。
对等式分布 络爬虫(一致性哈希)
一致性哈希将 站的主域名进行哈希，映射为一个范围在0到232之间的某个数值，大量的 站主域名会被均匀地哈希到这个数值区间。将哈希值范围首尾相接，即认为数值0和最大值重合，这样可以将其看做有序的环状序列，从数值0开始，沿着环的顺时针方向，哈希值逐渐增大，直到环的结尾。而某个抓取 络服务器则负责这个环状序列的一个片段，即落在某个哈希取值范围内的URL都由该 络服务器负责下载。这样即可确定每台 络服务器的职责范围。
太阳换ip软件：每天40万新鲜ip，稳健连接， 速损失小，海外也能用！
诚招代理：提供各项×××福利，加入共赢，当老板！走向人生巅峰！
×××联系：852719561（QQ及微信）
声明：本站部分文章及图片源自用户投稿，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！