百度(Seo)快排之万能代理IP接口设计

我们在《python脚本百度(SEO)快排–模拟点击最新核心源码》中提到对快排影响的重要因素之一就是IP,如何使用多IP执行快排脚本有两种方法:

1、使用动态拨 VPS

2、代理IP池

今天我们主要来说下如何设计一个万能的代理IP池接口?

我们随便找几家做代理IP池的厂家,看看他们都是什么样的接口?

1、芝麻HTTP

接口文档:https://zhimahttp.com/getapi/

2、品易HTTP

接口文档:http://pc.py.cn/api/

3、华益云

接口文档:http://www.9vps.com/show.asp?id=8

4、站大爷

接口文档:https://www.zdaye.com/doc/api/ShortProxy/

5、proxyPool

接口文档:https://github.com/jhao104/proxy_pool/

上述5个平台代理ip池都有各自的对接接口,而且他们的接口都不一样,有的是通过GET方式获取的,有的是通过POST方式获取的,获取的结果也不相同,有的可以直接返回代理ip如:114.55.53.151:3128 这样的格式是我们需要,有的接口返回的是json格式如:


如上这种json格式就需要从中提取代理ip与端口

返回结果格式上看可以把他们分为两类:

一类是直接返回代理ip 另一类直接返回json格式数据

对于第一种直接返回代理ip的我们不需要处理直接哪来使用就可以

对于返回json格式数据我们需要从中提取代理ip与端口,但不同厂家返回的json数据格式是不统一的,比如:


那么如何解决做一个配置,能兼容所有的代理ip池呢?

在python中可以使用jsonpath库,jsonpath提取json格式的数据非常方便

1. jsonpath介绍

用来解析多层嵌套的json数据;JsonPath 是一种信息抽取类库,是从JSON文档中抽取指定信息的工具,提供多种语言实现版本,包括:Javascript, Python, PHP 和 Java。

使用方法如:


2. JsonPath 对于 JSON 来说,相当于 XPath 对于 XML

安装方法:


官方文档:http://goessner.net/articles/JsonPath

3. JsonPath与XPath语法对比:

Json结构清晰,可读性高,复杂度低,非常容易匹配,下表中对应了XPath的用法。

/

$

跟节点

.

@

现行节点

/

. or []

取子节点

..

n/a

就是不管位置,选择所有符合条件的条件

*

*

匹配所有元素节点

[]

[]

迭代器标示(可以在里面做简单的迭代操作,如数组下标,根据内容选值等)

|

[,]

支持迭代器中做多选

[]

?()

支持过滤操作

n/a

()

支持表达式计算

()

n/a

分组,JsonPath不支持

4. 使用实例


5、提取proxypool接口中的代理

proxypool接口:http://127.0.0.1:5010/get/

通过GET方式请求,返回数据如下:


从这样的接口中获取代理ip的方式如下:


至此这样的一个接口就写好了,下面是快排软件中的设置截图:

测试效果:

未完待续…

关注“何三笔记”回复 “快排工具” 获取下载

如果想获取源代码回复“快排源码”

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2021年11月6日
下一篇 2021年11月6日

相关推荐