因为工作的关系需要收集很多信息，每天的大部分时间都花在浏览 页上。费时费力不说还没有多大成效。为了提高效率，我尝试用了国内外几款数据采集软件。以下是这几款软件的说明和我使用的心得体会。
国外数据采集软件
DIFFBOT
使用DIFFBOT 采集 络数据不需要编写规则，全程可视化操作，简单易上手。三大功能模块BULK API, CRAWLBOT, CUSTOM API (Analyze API, Article API, Product API, Image AP, Custom API).
Diffbot 功能
CUSTOM API 功能：输入需要采集的页面之后会产生页面预览，手动选取需要采集的模块，设定字段标题，链接，内容等，自动生成代码可以嵌入API
采集结果如下：
Import.io
magic功能。输入需要采集的 址，会自动采集并按照设定好的字段（subtopic_value，subtopic_link，question_link，itemvote_value，itemvote_value_numbers，label_1，label_2，author_link，itemanswer_values，link_1，label_3）进行排序显示，采集到的内容可以导出excel或者保存api。
下图为采集知乎话题结果：
国内数据采集软件
火车头
火车头采集软件是国内比较流行的一款采集器。
功能较完善，有分布式高速采集，多识别系统，支持多数据库，采集监控系统等。
功能分的很细导致可操作性不强，使用过程繁琐复杂。官 上有详细的教程，但对一个新手来说，尤其是刚刚接触采集器的站长，短时间内很难上手。
图片来自火车头官 ：
神箭手云爬虫
神箭手云爬虫是我最近刚刚接触到的一种云端爬虫。
操作步骤：购买规则-设置关键词-启动任务-自动云端采集-自动发布
和传统的采集器不同，神箭手云爬虫无需配置采集流程。规则市场中提供大量免费采集模板，只需设置关键词即可。爬虫任务全程在云端执行无需开机操作，采集结果可自动发布到多个 站（目前支持wecenter,wordpree,discuz等）。
开发者可以自己编写采集规则出售或自用，有详细的开发者文档可以创建专属于自己的爬虫。
使用截图如下：
相关资源：开源的爬虫软件Heritrix3.1.0_开源爬虫-Java工具类资源-CSDN文库
声明：本站部分文章及图片源自用户投稿，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！