代理池的维护

我们在 9.1 节了解了给各个请求库设置代理的方法，如何实时高效地获取大量可用代理变成了新的问题。

首先，互联网上有大量公开的免费代理，当然我们也可以购买付费代理但无论是免费代理还是付费代理，都不能保证是可用的，因为自己选用的 IP，可能其他人也在用，爬取的还是同样的目标网站，从而被封禁，或者代理服务器突然发生故障、网络繁忙。一旦选用的是一个不可用的代理，势必就会影响爬虫的工作效率。所以要提前做筛选，删除掉不可用的代理，只保留可用代理。

那么怎么实现呢?这就需要借助一个叫代理池的东西了。本节就来介绍一下如何搭建一个高效易用的代理池。