注意:请运行程序前先更新一下抓取代理的爬虫。
-
Python 3.6
(请务必保证Python的版本在3.6以上,否则异步检验无法使用。)
-
Redis
Redis官网并没有提供Windows的安装版,Windows用户可以点击此处下载一个我自己编译的二进制版本(3.2版本2.7MB,VS 2015编译)。
$ pip install -r requirements.txt
Windows用户如果无法安装lxml库请点击这里。
$ cd proxypool
$ python3 run.py
$ cd proxypool
$ python setup.py install
$ proxypool_run
访问https://127.0.0.1:5000/
进入主页,如果显示'Welcome',证明成功启动。
访问https://127.0.0.1:5000/get
可以获取一个可用代理。
访问https://127.0.0.1:5000/count
可以获取代理池中可用代理的数量。
也可以在程序代码中用相应的语言获取,例如:
import requests
from bs4 import BeautifulSoup
import lxml
def get_proxy():
r = requests.get('https://127.0.0.1:5000/get')
proxy = BeautifulSoup(r.text, "lxml").get_text()
return proxy