爬虫福音：GitHub 超火爆开源 IP 代理池

经常有粉丝在后台留言，问：大佬，运行你的爬虫程序怎么 错了？

我让他把 错信息发过来，看过之后一声叹息。

大多数粉丝是直接拿着代码就开始运行，然后就是等待结果，完全不去仔细阅读和理解源码，遇到 错就直接过来询问。

多数爬虫源码运行的 错都是由于访问目标 站过于频繁，从而导致目标 站返回错误或者没有数据返回。

目前大多数 站都是有反爬措施的，如果 IP 在一定时间内 请求次数超过了一定的阈值就会触发反爬措施，拒绝访问，也就是我们经常听到的“封IP”。

那么怎么解决这个问题呢？

一种解决办法就是降低访问频率，访问一次就等待一定时长，然后再次访问。这种方法对于反爬措施不严格的 站是有效的。

如果遇到反爬措施严格的 站，访问次数多了还是会被封杀。而且有时候你需要爬取数据，这种解决办法会使获取数据的周期特别长。

第二种解决办法就是使用代理 IP。我不断地切换 IP 访问，让目标 站认为是不同的用户在访问，从而绕过反爬措施。这也是最常见的方式。

接着，我们又面临一个问题：哪来这么多独立 IP 地址呢？

最省事的方式当然是花钱买服务，这种花钱买到的 IP 一般都是比较稳定可靠的。

今天我们来聊一下不花钱免费获取代理 IP 的方式。

ProxyPool 简介

ProxyPool 是一个爬虫的代理 IP 池，主要功能为定时采集 上发布的免费代理验证入库，定时验证入库的代理保证代理的可用性，提供API和CLI两种使用方式。

同时你也可以扩展代理源以增加代理池IP的质量和数量。

获取项目

我们可以通过两种方式获取 ProxyPool 项目。

第一种是通过命令行下载：

git clone git@github.com:jhao104/proxy_pool.git

第二种是下载对应的 zip 压缩包：

安装依赖

我们获取到项目之后，进入到项目的根目录，运行下面的代码来安装项目所需的依赖包：

pip install -r requirements.txt

修改配置文件

要在本地运行项目，我们需要针对本地环境修改一些配置。打开项目中的 setting.py 这个文件，根据自己本地的环境和要求修改配置。

主要修改的几项配置是监听端口（PORT）、 Redis 数据库的配置（DB_CONN）和启用的代理方法名（PROXY_FETCHER）。

启动项目

修改完配置之后，我们就可以愉快地使用了。

这个项目总体分为两个部分：爬取代理 IP 和 取用代理 IP。

如果你要启用爬取代理 IP 的服务，直接运行下面命令：

python proxyPool.py schedule

启动之后，你就可以看到如下的控制台信息了：

程序每隔一段时间就会定时爬取一下，直到我们的 IP 池里面有一定数量的可用 IP 。

所以你完全可以自己写一套程序实现这个逻辑。

使用代理 IP

要使用代理 IP，你需要启动 webApi 服务：

python proxyPool.py server

启动web服务后, 默认配置下会开启 http://127.0.0.1:5010 的api接口服务:

如果要在爬虫代码中使用的话， 可以将此api封装成函数直接使用，例如：

总结

作为学习使用的 IP 代理池，这项目获取的足够使用了，但是对于一些复杂的爬虫项目或者商业项目的话，可能比较够呛，毕竟这种爬取的免费代理质量肯定没有那么好，不稳定是正常的。