八爪鱼批量爬取html中的数据,批量采集 页数据 – 八爪鱼采集器

有时候，我们有大量同类 页，希望八爪鱼能自动采集每个 页中的数据。通过设置【URL循环】，可实现此需求。

什么是同类 页相同、字段差不多的 页。例：

京东商品详情页：

豆瓣电影详情页：

https://movie.douban.com/subject/26387939/

https://movie.douban.com/subject/6311303/

https://movie.douban.com/subject/1578714/

一、【URL循环】操作演示

示例 址：

https://movie.douban.com/subject/26387939/

https://movie.douban.com/subject/6311303/

https://movie.douban.com/subject/1578714/

https://movie.douban.com/subject/26718838/

https://movie.douban.com/subject/25937854/

https://movie.douban.com/subject/26743573/

https://movie.douban.com/subject/20451290/

https://movie.douban.com/subject/26816383/

采集需求：

采集每个豆瓣电影详情页的电影

Step1. 打开 页

在首页左上角点击【新建】—【自定义任务】。 址输入界面默认的是【手动输入】。将复制好的一批同类 址，粘贴进 址输入框中，并点击【保存 址】。八爪鱼中内置的浏览器会自动打开 页。

特别说明：

a. 手动输入的url数量不得大于1万个，如有超过1万url，请选择【从文件导入】，具体请查看教程 址输入升级

b.  Url还可以选择【从任务导入】和【批量生成】，具体请查看教程  址输入升级

Step2.按照需求配置所需的字段。

二、Url循环的使用场景

1、【URL循环】的任务，在进行【云采集】时，可有效进行任务拆分，分配到每个云节点上并发采集，极大提高采集速度

2、有的 页在采集时，点击跳转至详情页后，无法返回列表页。可以先采集详情页的链接(URL)，然后通过【URL循环】，批量打采集每个详情页内的数据。

相关资源：…手爪、传感器功能包和一个在windows下可以接受力传感器的软件…