最近很多小伙伴对爬取手机App和小程序感兴趣,今天本厨师将给大家呈现这道菜,供小伙伴们品尝。
相信大家都对爬虫有一定的了解,我们爬PC端时候可以打开F12去观察url的变化,那么手机的发出请求我们应该怎么拦截呢。
今天的主菜就是给大家介绍一个抓包工具Fiddler,并用它烹煮一道广州房价爬虫。
Fiddler是一个http调试工具,也仅限于拦截http协议的请求,这是它的短板之处,但是对于我们平常的练习运用也足够了,因为大多数 站都是走http协议。跟Fiddler同类型的抓包工具还有很多。
把该勾上的勾上后,我们回到HTTPS这个界面,点击Actions,选择Trust,安装证书。
这时候我们的PC端的洗菜流程已经完成啦。
2、接下来我们就要设置手机端,我们既然要通过PC端拦截手机发出的请求,就要设置手机的 络跟PC是同一个。
络下,所以第二步,我们要更改手机ip。我们先来看看你的PC端ip是多少。先打开cmd进入终端后,输入ipconfig回车。
就可以看到你的ip地址了。
3、大家是不是觉得很简单呢,别高兴太早了!最关键的一步到了,在我们完成第一、二步设置后,打开你的手机浏览器输入你的ip和端口 (例127.0.0.1:8080),回车,这时候会跳转到一个下载手机端证书的页面,下载后并信任证书后(注:某些安卓手机会要获得root权限才行),这时候,我们安装三部曲就大功告成了。
万事俱备,只欠东风,食材都清洗好了,现在我就教大家怎么利用Fiddler烹煮小程序。
然后往上看,Raw模块是获取请求头的地方。
有了这两个信息,我们的爬虫代码也就可以开始编写了。
数据可视化
菜做好了,当然还要撒点香菜才能上桌啦,做个简单可视化吧,由于爬取的数据很干净,我省掉清洗数据的环节,直接上手,在各位群大佬面前献丑了。
我们先来看看该 站的广州二手房的最高价和最低价,这最高价的数字太感人了…. 这多少个0我都数不对。
(原来黄埔房价都那么高了,各 站数据的差异性也会导致最终展示的结果不一样,大家可以选个大 站试试)
到此,我们这次利用工具抓包小程序 站的介绍就结束了,大家也可以试试app,原理一样。

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!