我们在《python脚本百度(SEO)快排–模拟点击最新核心源码》中提到对快排影响的重要因素之一就是IP,如何使用多IP执行快排脚本有两种方法:
1、使用动态拨 VPS
2、代理IP池
今天我们主要来说下如何设计一个万能的代理IP池接口?
我们随便找几家做代理IP池的厂家,看看他们都是什么样的接口?
1、芝麻HTTP
接口文档:https://zhimahttp.com/getapi/
2、品易HTTP
接口文档:http://pc.py.cn/api/
3、华益云
接口文档:http://www.9vps.com/show.asp?id=8
4、站大爷
接口文档:https://www.zdaye.com/doc/api/ShortProxy/
5、proxyPool
接口文档:https://github.com/jhao104/proxy_pool/
上述5个平台代理ip池都有各自的对接接口,而且他们的接口都不一样,有的是通过GET方式获取的,有的是通过POST方式获取的,获取的结果也不相同,有的可以直接返回代理ip如:114.55.53.151:3128 这样的格式是我们需要,有的接口返回的是json格式如:
如上这种json格式就需要从中提取代理ip与端口
返回结果格式上看可以把他们分为两类:
一类是直接返回代理ip 另一类直接返回json格式数据
对于第一种直接返回代理ip的我们不需要处理直接哪来使用就可以
对于返回json格式数据我们需要从中提取代理ip与端口,但不同厂家返回的json数据格式是不统一的,比如:
那么如何解决做一个配置,能兼容所有的代理ip池呢?
在python中可以使用jsonpath库,jsonpath提取json格式的数据非常方便
1. jsonpath介绍
用来解析多层嵌套的json数据;JsonPath 是一种信息抽取类库,是从JSON文档中抽取指定信息的工具,提供多种语言实现版本,包括:Javascript, Python, PHP 和 Java。
使用方法如:
2. JsonPath 对于 JSON 来说,相当于 XPath 对于 XML
安装方法:
官方文档:http://goessner.net/articles/JsonPath
3. JsonPath与XPath语法对比:
Json结构清晰,可读性高,复杂度低,非常容易匹配,下表中对应了XPath的用法。
/ |
$ |
跟节点 |
. |
@ |
现行节点 |
/ |
. or [] |
取子节点 |
.. |
n/a |
就是不管位置,选择所有符合条件的条件 |
* |
* |
匹配所有元素节点 |
[] |
[] |
迭代器标示(可以在里面做简单的迭代操作,如数组下标,根据内容选值等) |
| |
[,] |
支持迭代器中做多选 |
[] |
?() |
支持过滤操作 |
n/a |
() |
支持表达式计算 |
() |
n/a |
分组,JsonPath不支持 |
4. 使用实例
5、提取proxypool接口中的代理
proxypool接口:http://127.0.0.1:5010/get/
通过GET方式请求,返回数据如下:
从这样的接口中获取代理ip的方式如下:
至此这样的一个接口就写好了,下面是快排软件中的设置截图:
测试效果:
未完待续…
关注“何三笔记”回复 “快排工具” 获取下载
如果想获取源代码回复“快排源码”
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!