爬虫 – 开发 络爬虫应该怎样选择爬虫框架

  • 1.分布式爬虫:Nutch

  • 2.JAVA单机爬虫:Crawler4j、WebMagic、WebCollector

  • 3.非JAVA单机爬虫:scrapy
  • 第一类:分布式爬虫

  • 1) 海量URL管理
  • 2) 速
  • 第二类:JAVA单机爬虫

    第三类:非JAVA单机爬虫

    声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

    上一篇 2016年1月15日
    下一篇 2016年1月15日

    相关推荐