在学习爬虫进阶路上少不了用到一些抓包工具，今天就给大家隆重推荐6款爬虫抓包神器。

聊一聊：爬虫抓包原理

爬虫的基本原理就是模拟客户端（可以是浏览器，也有可能是APP）向远程服务器发送 HTTP 请求，我们需要知道目标服务器的 HOST、URI、请求方法、请求参数、请求头、请求体。Web 站通过 Chrome 浏览器可以找到这些信息。但是对于 APP 爬虫，就显得有些束手无策。这时候必须借用一些抓包工具来辅助我们分析APP背后的秘密。而抓包本质是引入多了一层中间人代理，如下图所示。

此外，还可以自定义规则，通过修改脚本，加入自己的特殊处理，不过因为它是 C# 编写的，如果你要写复杂的脚本，需要懂C#。

过滤器功能使得你可以通过正则表达式规则将你关心的请求显示出来，如果你只需要抓特定 站的数据，这个功能就显得非常有用，可以去除很多干扰信息。

Charles 在线破解工具：

https://www.zzzmode.com/mytools/charles/

Charles也常用于一些简单的弱 模拟工具，打开Proxy->Throttle Settings，界面如下：

常用特性：

支持https明文代理

支持低 速模拟

支持二次开发，可以用javascript控制代理的全部流程，搭建前端个性化调试环境

提供web版界面，观测请求情况

anyproxy详细使用介绍：

https://www.npmjs.com/package/anyproxy/v/3.10.2

抓包神器四：mitmproxy

它不仅是跨平台的，而且提供的是命令行交互模式，很有极（zhuang）客（bi）感，而且是由Python语言实现的，对于Pythoner来说，无疑是一大利好福利。mitmproxy主要包含了 3 款工具：

mitmproxy: 带交互的终端界面

mitmdump: mitmproxy 的命令行版本，类似于 tcpdump

libmproxy: 用于 mitmproxy/mitmdump 的库

GitHub 地址：https://github.com/mitmproxy/mitmproxy

appium类库封装了标准Selenium客户端类库，实现了Mobile JSON Wire Protocol、W3C、WebDriver spec，同时也定义了官方协议的扩展，为appium用户提供了方便的接口来执行各种设备动作，支持多语言，多平台，Linux必须是桌面系统，使用的Client/Server的设计模式， 扩展了WebDriver协议，使得原操作仍然可用

Appium工作原理：