爬虫必备——ProxyPool代理池

这几年流行微服务，好处很多，比如解耦：各个功能原子化，互不干扰；比如开发更规范：自己管自己的项目，出了问题容易找到责任方。这里给大家分享一个代理池的服务，用的是收费的蘑菇代理，比较过全网的代理IP这家还算良心。

首先我确定了几个功能：

1. 随时获取代理IP;
2. 为了应对并发和网速等实际问题，我需要获取独占IP，不和其他客户端共享这些IP；
3. 更新代理池；
4. 修改代理池中IP数量；
5. 开启/关闭自动更新。

我用了flask作为webserver，本文只讲逻辑，没用nginx、gun等部署方案。代码在https://github.com/zmy537565154/ProxyPool

config

配置文件是一些默认值和日志对象的声明。其中自动更新的值可以在项目启动后通过http请求来修改。

import logging
import sys
import time
import os
import redis


# 默认代理数量
ip_count = 1

# 蘑菇代理appKey
app_key = 'fb7d0ef415*******e347323930f928d'

# 端口
port = 10008

# 自动更新
auto_update_flag = False

# 日志管理
logger = logging.getLogger('logger')
formatter = logging.Formatter('%(asctime)s %(levelname)-8s: %(message)s \n')
try:
    file_handler = logging.FileHandler(
        'logs/{}.log'.format(time.strftime('%Y-%m-%d_%H:%M:%S', time.localtime(time.time()))))
except:
    os.mkdir('logs')
    file_handler = logging.FileHandler(
        'logs/{}.log'.format(time.strftime('%Y-%m-%d_%H:%M:%S', time.localtime(time.time()))))
file_handler.setFormatter(formatter)
console_handler = logging.StreamHandler(sys.stdout)
console_handler.formatter = formatter

logger.addHandler(file_handler)
logger.addHandler(console_handler)
logger.setLevel(logging.INFO)

# redis