大数据挖掘与分析

文章目录

• 前言
• 一、八爪鱼是什么li>
• 二、数据采集步骤
  • 1.确定爬取 站内容范围
  • 2.制作采集数据流程
  • 3.调优
• 总结

前言

一、八爪鱼是什么h1>

八爪鱼是一款使用简单、功能强大的 络爬虫工具,完全可视化操作,无需编写代码,内置海量模板,支持任意 络数据抓取。免费版支持本地采集、有限数量的数据导出（基本上还算够用）；专业版支持云采集、24*7采集，大数据量导出，验证码识别等功能。本次采集我用的是免费版功能。

二、数据采集步骤

1.确定爬取 站内容范围

我准备采集的是百度新闻，输入关键词‘苏东坡’后搜索出的内容。计划采集数量为几百条新闻内容。

址：http://news.baidu.com/

先来观察一下 页情况。

（1）注意百度新闻搜索出来的内容，点击单个链接后的 页，存在各个元素框架不同的问题。我的方案是提取 页的标题和全部文字内容。

（2）注意翻页，百度新闻翻页的特点是点击“下一页”。

2.制作采集数据流程

设计八爪鱼自定义采集流程，有两个关键点。一是循环点击下一页，设定多少次循环后停止；二是在每一页循环点击列表中10个 页的 址，进入每个 址后提取标题和文字内容。流程图中主要包括循环翻页和循环列表，描述如下：

提取详情页数据自动提取标题、正文等文章相关内容。

3.调优

实际运行时，发现虽然逻辑正确，却怎么也进入不了下一页，只能采集10条数据，经检查，八爪鱼软件自动给“下一页”的链接设置的Xpath地址和百度搜索中真实的下一页对应Xpath地址不一样。通过google浏览器开发者工具进入小指针，当页面处于第一页时，鼠标左键点击“下一页”按钮，右边对应部分高亮，出现：

右键点击高亮部分，复制Xpath，

得到“下一页”对应的Xpath地址是：//*[@id=”page”]/div/a[10]。而当页面在第2页时，下一页的Xpath是//*[@id=”page”]/div/a[11]，如果不注意这个问题，就会发生八爪鱼只能采集第一页数据。修改后，就可以自动采集数据了。

总结

八爪鱼的采集功能十分强大和完善，需要注意的是，要简单理解一下Xpath的意义，才能从 页页面上正确提取到相关的内容。