Awesome

ProxyPool

跨语言高性能IP代理池，Python实现。

注意：请运行程序前先更新一下抓取代理的爬虫。

运行环境

• Python 3.6

  (请务必保证Python的版本在3.6以上，否则异步检验无法使用。)

• Redis

  Redis官网并没有提供Windows的安装版，Windows用户可以点击此处下载一个我自己编译的二进制版本(3.2版本2.7MB，VS 2015编译)。

安装

① 直接使用

安装依赖

$ pip install -r requirements.txt

Windows用户如果无法安装lxml库请点击这里。

打开代理池和API

$ cd proxypool

$ python3 run.py

② 安装使用

安装

$ cd proxypool

$ python setup.py install

打开代理池和API

$ proxypool_run

使用API获取代理

访问http://127.0.0.1:5000/进入主页，如果显示'Welcome'，证明成功启动。

访问http://127.0.0.1:5000/get可以获取一个可用代理。

访问http://127.0.0.1:5000/count可以获取代理池中可用代理的数量。

也可以在程序代码中用相应的语言获取，例如:

import requests
from bs4 import BeautifulSoup
import lxml

def get_proxy():
    r = requests.get('http://127.0.0.1:5000/get')
    proxy = BeautifulSoup(r.text, "lxml").get_text()
    return proxy

文件结构