Home

Awesome

ProxyPool

Build Status
跨语言高性能IP代理池,Python实现。

注意:请运行程序前先更新一下抓取代理的爬虫。

运行环境

安装

① 直接使用

安装依赖

$ pip install -r requirements.txt

Windows用户如果无法安装lxml库请点击这里

打开代理池和API

$ cd proxypool

$ python3 run.py

② 安装使用

安装

$ cd proxypool

$ python setup.py install

打开代理池和API

$ proxypool_run

使用API获取代理

访问http://127.0.0.1:5000/进入主页,如果显示'Welcome',证明成功启动。

pic

访问http://127.0.0.1:5000/get可以获取一个可用代理。

pic

访问http://127.0.0.1:5000/count可以获取代理池中可用代理的数量。

pic

也可以在程序代码中用相应的语言获取,例如:

import requests
from bs4 import BeautifulSoup
import lxml

def get_proxy():
    r = requests.get('http://127.0.0.1:5000/get')
    proxy = BeautifulSoup(r.text, "lxml").get_text()
    return proxy

文件结构

picture picture