以某乎为实战案例,教你用Python爬取手机App数据!居然有人说爬不了APP!

2、配置抓包工具

1.安装软件

2.配置Fiddler

安装好之后,接下来就开始配置Fiddler工具(这里是关键,仔细阅读!

配置Connections

打开Fiddler后,点击Tools->Options

点击Connections

勾选上对应的选项

配置HTTPS

勾选上对应的选项

最后抓包工具Fiddler就配置好了

记得重启Fiddler重启Fiddler重启Fiddler!不然可能不生效

3、配置手机代理

1.设置代理

准备工作

 首先看一下安装Fiddler主机ip(电脑和手机必须处于同一局域

查看ip命令

开始配置

目标代理主机信息
ip:192.168.31.195

端口:8888

在wifi无线 处进去,点击配置代理

填写好相关代理信息

2.安装证书

 在浏览器输入:

http://192.168.31.195:8888 复制代码

点击下载证书后,下面就开始安装(看图操作

ok,这样手机端就配置完成,下面开始抓取数据!!!

4、抓取数据

1.打开某乎app

2.查看数据包列表

打开app之后,Fiddler就已经抓取到数据了

这里可以看到app发送和接收了哪些数据包

为了更加精准定位到某乎(只看目标的数据包),添加一个过滤条件

这样我们获取的数据包列表就都是过滤条件内的目标 址

3.查找数据包

比如点击热榜

对应的https加密数据包如下:

数据包中的数据如下:

提取出url链接

  1. https://api.zhihu.com/topstory/hot-listmit=10&reverse_order=0

拿到url之后,接着开始编程爬取保存数据。

4.编写爬虫程序

如何获取源码:

①3000多本Python电子书有
②Python开发环境安装教程有
③Python400集自学视频有
④软件开发常用词汇有
⑤Python学习路线图有
⑥项目源码案例分享有
如果你用得到的话可以直接拿走,在我的QQ技术交流群里群 :754370353(纯技术交流和资源共享,广告勿入)以自助拿走
点击这里 领取

文章知识点与官方知识档案匹配,可进一步学习相关知识Python入门技能树首页概览211379 人正在系统学习中 Python源码

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2021年5月22日
下一篇 2021年5月22日

相关推荐