开源爬虫汇总表
|
开发语言 |
软件名称 |
软件介绍 |
许可证Java |
Arachnid |
微型爬虫框架，含有一个小型HTML解析器 |
GPL |
|
|
crawlzilla |
安装简易，拥有中文分词功能 |
Apache2 |
|||||
|
Ex-Crawler |
由守护进程执行，使用数据库存储 页信息 |
GPLv3 |
|||||
|
Heritrix |
严格遵照robots文件的排除指示和META robots标签 |
LGPL |
|||||
|
heyDr |
轻量级开源多线程垂直检索爬虫框架 |
GPLv3 |
|||||
|
ItSucks |
提供swing GUI操作界面 |
不详jcrawl |
轻量、性能优良，可以从 页抓取各种类型的文件 |
Apache |
|||
|
JSpider |
功能强大，容易扩展 |
LGPL |
|||||
|
Leopdo |
包括全文和分类垂直搜索，以及分词系统 |
Apache |
|||||
|
MetaSeeker |
页抓取、信息提取、数据抽取工具包，操作简单 |
不详Playfish |
通过XML配置文件实现高度可定制性与可扩展性 |
MIT |
|||
|
Spiderman |
灵活、扩展性强，微内核+插件式架构，通过简单的配置就可以完成数据抓取，无需编写一句代码 |
Apache |
|||||
|
webmagic |
功能覆盖整个爬虫生命周期，使用Xpath和正则表达式进行链接和内容的提取 |
Apache |
|||||
|
Web-Harvest |
运用XSLT、XQuery、正则表达式等技术来实现对Text或XML的操作，具有可视化的界面 |
BSD |
|||||
|
WebSPHINX |
由两部分组成：爬虫工作平台和WebSPHINX类包 |
Apache |
|||||
|
YaCy |
基于P2P的分布式Web搜索引擎 |
GPL |
|||||
|
Python |
QuickRecon |
具有查找子域名名称、收集电子邮件地址并寻找人际关系等功能 |
GPLv3 |
||||
|
PyRailgun |
简洁、轻量、高效的 页抓取框架 |
MIT |
|||||
|
Scrapy |
基于Twisted的异步处理框架，文档齐全 |
BSDC++ |
hispider |
支持多机分布式下载, 支持 站定向下载 |
BSD |
||
|
larbin |
高性能的爬虫软件，只负责抓取不负责解析 |
GPL |
|||||
|
Methabot |
经过速度优化、可抓取WEB、FTP及本地文件系统 |
不详Methanol |
模块化、可定制的 页爬虫，速度快 |
不详C# |
NWebCrawler |
统计信息、执行过程可视化 |
GPLv2 |
|
Sinawler |
国内第一个针对微博数据的爬虫程序，功能强大 |
GPLv3 |
|||||
|
spidernet |
以递归树为模型的多线程web爬虫程序，支持以GBK (gb2312)和utf8编码的资源，使用sqlite存储数据 |
MIT |
|||||
|
Web Crawler |
LGPL |
||||||
|
络矿工 |
功能丰富，毫不逊色于商业软件 |
BSD |
|||||
|
PHP |
OpenWebSpider |
开源多线程 络爬虫，有许多有趣的功能 |
不详PhpDig |
适用于专业化强、层次更深的个性化搜索引擎 |
GPL |
||
|
Snoopy |
具有采集 页内容、提交表单功能 |
GPL |
|||||
|
ThinkUp |
采集推特、脸谱等 交 络数据的 会媒体视角引擎，可进行交互分析并将结果以可视化形式展现 |
GPL |
|||||
|
微购 |
可采集淘宝、京东、当当等300多家电子商务数据 |
GPL |
|||||
|
ErLang |
Ebot |
可伸缩的分布式 页爬虫 |
GPLv3 |
||||
|
Ruby |
Spidr |
可将一个或多个 站、某个链接完全抓取到本地 |
MIT |
声明：本站部分文章及图片源自用户投稿，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！