手机python爬虫工具_Python 络爬虫(移动端数据爬取)

一、什么是Fiddlerp>

Fiddler是位于客户端和服务器端的HTTP代理，也是目前最常用的http抓包工具之一 。 它能够记录客户端和服务器之间的所有 HTTP请求，可以针对特定的HTTP请求，分析请求数据、设置断点、调试web应用、修改请求的数据，甚至可以修改服务器返回的数据，功能非常强大，是web调试的利器。

既然是代理，也就是说：客户端的所有请求都要先经过Fiddler，然后转发到相应的服务器，反之，服务器端的所有响应，也都会先经过Fiddler然后发送到客户端，基于这个原因，Fiddler支持所有可以设置http代理为127.0.0.1:8888的浏览器和应用程序。使用了Fiddler之后，web客户端和服务器的请求如下所示：

二、手机APP抓包设置

2.1 Fiddler设置：

打开Fiddler软件，打开工具的设置。(Fiddler软件菜单栏：Tools->Options)

在HTTPS中设置如下：

作用：配置HTTPS，使用PC客户端或者APP移动端能够获取HTTPS的请求

2.2 安全证书下载：

– PC端下载安全证书：

在电脑浏览器中输入地址：http://localhost:8888/，点击FiddlerRoot certificate，下载安全证书：

2.4 苹果手机安装：

– 保证手机 络和fiddler所在机器 络是同一个 段下的

– 在safari中访问http://fiddle机器ip：fiddler端口，进行证书下载。然后进行安装证书操作。

– 在手机中的设置-》通用-》关于本机-》证书信任设置-》开启fiddler证书信任

2.5 局域 设置：

想要使用Fiddler进行手机抓包，首先要确保手机和电脑的 络在一个内 中，可以使用让电脑和手机都连接同一个路由器。当然，也可以让电脑开放WIFI热点，手机连入。这里，我使用的方法是，让手机和电脑同时连入一个路由器中。最后，让手机使用电脑的代理IP进行上 。

在手机上，点击连接的WIFI进行 络修改，添加代理。进行手动设置，ip和端口 都是fiddler机器的ip和fiddler上设置的端口 。

2.6 Fiddler手机抓包测试

上述步骤都设置完成之后，用手机浏览器打开百度首页，我们就可以顺利抓包了

三、常见的抓包工具

Fiddler ScirptEditor

青花瓷

wireshark

文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树 络爬虫urllib211387 人正在系统学习中 相关资源：开源的爬虫软件Heritrix3.1.0_开源爬虫-Java工具类资源-CSDN文库