Python爬取豌豆荚软件分类

Python爬取豌豆荚软件分类以及下载量

一，查看 页
链接豌豆荚
红框内即为要爬取的元素

三、根据获取的页签地址爬取每个页面的APP信息
每个页面只加载了一部分APP信息，点击查看更多，页面地址并没有变化。如何爬取出更多的APP信息呢
1、打开页面，点击开发者工具，选Network/XHR，
2、页面点击查看更多，找到地址链接查看发现每次查看更多，只有page增加1，在查看其它页面后，总结出url变化规律只有三个变量catId/subCatId/page。接下来就可以开始撸代码了

app名称,一级分类,二级分类,安装人数
哔哩哔哩,视频,影音播放,1143万人安装
抖音短视频,视频,摄影图像,2.3亿人安装
爱奇艺,视频,影音播放,886.4万人安装
火山小视频,视频,影音播放,1.3亿人安装
腾讯视频,视频,影音播放,709.6万人安装
优酷,视频,影音播放,626.3万人安装
迅雷,视频,影音播放,499.1万人安装
西瓜视频,视频,影音播放,465.6万人安装
影音先锋,视频,影音播放,273.8万人安装
虎牙直播,视频,影音播放,250.5万人安装
爱奇艺动漫,视频,影音播放,154万人安装

这样就把豌豆荚的软件分类爬取下来啦，快去试试吧~

文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树人工智能基于Python的监督学习208492 人正在系统学习中