Python爬虫, 哪些奇特的 站值得一爬! 谱时 爬虫实例

在我们学习的过程中，打开一个 站就想抓一次数据，但是并不是所有的 站都可以用一种方式抓到数据的，有的是 页结构特殊，有的是json数据包不一样，慢慢的写一些自己在抓站过程中遇到的奇特的 站，分享思路和抓取方法给大家！

工具、目标

工具：pycharm、python3.6版本

库：requests库

目标：谱时 热门图片直播页面，所有的图片信息

说明：该 站有热门图片页面，里面有活动的相关照片，按活动将所有的图片信息写入txt文档（不下载图片，是为了不对服务器造成影响）！

目标分析

这里我是缩放到了30%，下方呢，就是一个个的活动图片直播的页面了。随便点开一个活动，我们看看页面

没有任何的图片信息，那么我们就需要用到浏览器的页面审查工具了！我这里用的是火狐浏览器，摁F12就可以打开，然后点击 络，清除内容，刷新页面，看看它加载了什么数据进来

这个json数据中，存在了所有的页面加载的活动信息！没有翻页。。。怪不得加载那么慢呢[手动委屈]。

导入requests库，然后直接请求真实 址，获得name和对应的url（真实 址在消息头中），然后构建页面中的真实 址，上面所拿到的url其实是 页的url，并不是该 页的json包所在的真实地址，怎么拿到真实地址呢多拿几个获得页面的真实 址对比，不难发现它的规律

https://wx.plusx.cn/activity/live/picstivityNo=1341537&picIndex=0&isNew=false&count=3000&ppSign=

https://wx.plusx.cn/activity/live/picstivityNo=3321860&picIndex=0&isNew=false&count=3000&ppSign=

https://wx.plusx.cn/activity/live/picstivityNo=1341537&picIndex=0&isNew=false&count=3000&ppSign=

https://wx.plusx.cn/activity/live/picstivityNo=451977&picIndex=0&isNew=false&count=3000&ppSign=

对比下就发现，其实就是activityNo的值不一样而已，而这个值在上述抓到的json包里也是存在的！

后记

这个 站的整体结构比较清晰，数据也很简单就获取了，而今天之所以拿这个 站来分享，是因为开始抓包的时候，自己都不敢相信，一个页面之间加载了400多张图片。。。而且看页面结构也没想到有这么简单！

总的来说，该 站比较适合新手去学习抓包获取数据，希望能帮助到大家，加油！

如果真的遇到好的同事,那算你走运，加油，抓紧学到手。
python资源分享企鹅圈:1055012877
包含python,爬虫等人工智能软件,以及 络安全、数据挖掘、python web等python技巧的制作方法。
打造从零基础到项目开发上手实战全方位解析!

点击加入

文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树 络爬虫urllib211392 人正在系统学习中