d va爬黑板animate_对不起,我把APP也给爬了

最近很多小伙伴对爬取手机App和小程序感兴趣,今天本厨师将给大家呈现这道菜,供小伙伴们品尝。

相信大家都对爬虫有一定的了解,我们爬PC端时候可以打开F12去观察url的变化,那么手机的发出请求我们应该怎么拦截呢。

今天的主菜就是给大家介绍一个抓包工具Fiddler,并用它烹煮一道广州房价爬虫。

Fiddler是一个http调试工具,也仅限于拦截http协议的请求,这是它的短板之处,但是对于我们平常的练习运用也足够了,因为大多数 站都是走http协议。跟Fiddler同类型的抓包工具还有很多。

把该勾上的勾上后,我们回到HTTPS这个界面,点击Actions,选择Trust,安装证书。

这时候我们的PC端的洗菜流程已经完成啦。

2、接下来我们就要设置手机端,我们既然要通过PC端拦截手机发出的请求,就要设置手机的 络跟PC是同一个。

络下,所以第二步,我们要更改手机ip。我们先来看看你的PC端ip是多少。先打开cmd进入终端后,输入ipconfig回车。

就可以看到你的ip地址了。

3、大家是不是觉得很简单呢,别高兴太早了!最关键的一步到了,在我们完成第一、二步设置后,打开你的手机浏览器输入你的ip和端口 (例127.0.0.1:8080),回车,这时候会跳转到一个下载手机端证书的页面,下载后并信任证书后(注:某些安卓手机会要获得root权限才行),这时候,我们安装三部曲就大功告成了。

万事俱备,只欠东风,食材都清洗好了,现在我就教大家怎么利用Fiddler烹煮小程序。

然后往上看,Raw模块是获取请求头的地方。

有了这两个信息,我们的爬虫代码也就可以开始编写了。

数据可视化

菜做好了,当然还要撒点香菜才能上桌啦,做个简单可视化吧,由于爬取的数据很干净,我省掉清洗数据的环节,直接上手,在各位群大佬面前献丑了。

我们先来看看该 站的广州二手房的最高价和最低价,这最高价的数字太感人了…. 这多少个0我都数不对。

(原来黄埔房价都那么高了,各 站数据的差异性也会导致最终展示的结果不一样,大家可以选个大 站试试)

到此,我们这次利用工具抓包小程序 站的介绍就结束了,大家也可以试试app,原理一样。

7b01a5f2b84fa2c3bff5793a4763db12.png 相关资源:开源的虫软件Heritrix3.1.0_开源虫-Java工具类资源-CSDN文库

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2020年10月1日
下一篇 2020年10月1日

相关推荐