浅析 络数据的商业价值和采集方法

据赛迪顾问统计，在技术领域中最近10,000条专利中常见的关键词中，数据采集、存储介质、海量数据、分布式成为技术领域最热词汇。其中，数据采集是提到最多的词汇。

什么是 络数据

络数据，是指非传统数据源，例如通过抓取搜索引擎获得的不同形式的数据。 络数据也可以是从数据聚合商或搜索引擎 站购买的数据，用于改善目标营销。这种类型的数据可以是结构化的，也可以是非结构化的（更有可能的），可以由 络链接，文本数据，数据表，图像，视频等组成。
络构成了当今提供给我们的大部分数据，根据许多研究可知，非结构化数据占据了其中的80％。尽管这些形式的数据较早被忽略了，但是竞争加剧以及需要更多数据的需求使得必须使用尽可能多的数据源。

络数据可以用来干什么

除此之外，在《How Web Scraping is Transforming the World with its Applications》文章中详细得罗列出 络数据在制造业、金融研究、风险管理等众多领域的利用价值。

如何收集 络数据

目前 络数据采集有两种方法：一种是API，另一种是 络爬虫法。API又叫应用程序接口，是 站的管理者为了使用者方便，编写的一种程序接口。目前主流的 交媒体平台如新浪微博、百度贴吧以及Facebook等均提供API服务，可以在其官 开放平台上获取相关DEMO。但是API技术毕竟受限于平台开发者，为了减小 站（平台）的负荷，一般平台均会对每天接口调用上限做限制，这给我们带来极大的不便利。为此我们通常采用第二种方式—— 络爬虫。

利用爬虫技术采集 络数据

络爬虫是指按照一定的规则自动地抓取万维 信息的程序或者脚本。该方法可以将非结构化数据从 页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。
在互联 时代， 络爬虫主要是为搜索引擎提供最全面和最新的数据。在大数据时代， 络爬虫更是从互联 上采集数据的有利工具。

络爬虫原理

络爬虫采集

络爬虫通过定义采集字段对 页中的文本信息、图片信息等进行爬取。并且在 页中还包含一些超链接信息， 络爬虫系统正是通过 页中的超链接信息不断获得 络上的其他 页。 络爬虫从一个或若干初始 页的 URL 开始，获得初始 页上的 URL，爬虫将 页中所需要提取的资源进行提取并保存，同时提取出 站中存在的其他 站链接，经过发送请求，接收 站响应以及再次解析页面，再将 页中所需资源进行提取……以此类推，通过 页爬虫便可将搜索引擎上的相关数据完全爬取出来。

数据处理

数据中心

所谓的数据中心也就是数据储存，是指在获得所需的数据并将其分解为有用的组件之后，通过可扩展的方法来将所有提取和解析的数据存储在数据库或集群中，然后创建一个允许用户可及时查找相关数据集或提取的功能。

络爬虫工作流程

如下图所示， 络爬虫的基本工作流程如下。首先选取一部分种子 URL。

• 将这些 URL 放入待抓取 URL 队列。
• 从待抓取 URL 队列中取出待抓取 URL，解析 DNS，得到主机的 IP 地址，并将 URL 对应的 页下载下来，存储到已下载 页库中。此外，将这些 URL 放进已抓取 URL 队列。
• 分析已抓取 URL 队列中的 URL，分析其中的其他 URL，并且将这些 URL 放入待抓取 URL 队列，从而进入下一个循环。

总结

当前， 络大数据在规模与复杂度上的快速增长对现有IT架构的处理和计算能力提出了挑战，据IDC发布的研究 告，预计到2020年， 络大数据总量将达到35ZB, 络大数据将成为行业数字化、信息化的重要推手。