使用urllib2调用api示例
使用提示: 运行环境要求 python2.6/2.7
使用urllib调用api示例
使用提示: 运行环境要求 python3.x
使用requests库调用api示例
使用提示:
* 此样例支持 python 2.6—2.7以及3.3—3.7
* requests不是python原生库,需要安装才能使用: pip install requests
使用urllib2请求Http代理服务器, 支持访问http和https网页, 推荐使用
使用提示: 运行环境要求 python2.6/2.7
使用requests请求Http代理服务器, 支持使用白名单访问http和https网页, 使用用户名密码不支持访问https网页
使用提示: requests不是python原生库, 需要安装才能使用: pip install requests
以白名单
认证形式使用selenium库和Chrome驱动请求Http代理服务器
使用提示:
* 基于白名单的http/https代理Chrome
* 运行环境要求`python2.x + selenium + Chrome + Chromedriver + xvfb`
* 安装xvfb:`pip install xvfbwrapper`
* Ubuntu下开发环境配置参考: https://christopher.su/2015/selenium-chromedriver-ubuntu/
以白名单
认证形式使用selenium库和PhantomJS驱动请求Http代理服务器
使用提示:
* 基于白名单的http/https代理PhantomJS
* 运行环境要求`python2.x + selenium + PhantomJS`
* `selenium + PhantomJS` 可以直接使用pip安装
以用户名密码
认证形式使用selenium库和PhantomJS驱动请求Http代理服务器
使用提示:
* 基于密码认证的http/https代理PhantomJS
* 运行环境要求`python2.x + selenium + PhantomJS`
* `selenium + PhantomJS` 可以直接使用pip安装
使用urllib
库请求Http代理服务器, 支持访问http和https网页
使用提示:
* 基于urllib的代码样例同时支持访问http和https网页,推荐使用
* 运行环境要求 python3.x
使用requests
库请求Http代理服务器, 支持使用白名单访问http,https网页, 使用用户名密码不支持访问https网页
使用提示:
* 基于requests的代码样例支持使用白名单访问http,https网页,使用用户名密码不支持访问https网页
* requests不是python原生库,需要安装才能使用: pip install requests
scrapy项目标准目录结构如下:
设置代理
使代理生效
使用代理
使用提示:
* http/https网页均可适用
* scrapy不是python原生库,需要安装才能使用: pip install scrapy
* 在第一级scrapy_proxy目录下运行如下命令查看结果:scrapy crawl main
使用requests
库请求Socks代理服务器
使用提示:
* http/https网页均可适用
* 运行环境要求: requests >= 2.10.0
* socks支持是`requests`的额外特性,需要安装才能使用: pip install requests[socks]
使用urllib2
库请求Socks代理服务器
使用提示:
* 运行环境要求 python2.6 / 2.7
* http/https网页均可适用
* 使用此样例需要安装PySocks:pip install PySocks
以白名单
认证形式使用selenium库和Chrome驱动请求Socks代理服务器
使用提示:
* 运行环境要求 python2.x + selenium + chrome + chrome driver + xvfb
* socks5代理网页均可适用
* 安装xvfb:pip install xvfbwrapper
* 开发环境配置参考: https://christopher.su/2015/selenium-chromedriver-ubuntu/
以白名单
认证形式使用selenium库和PhantomJS驱动请求Socks代理服务器
使用提示:
* 运行环境要求: python2.x
* socks5代理网页均可适用
* 使用此样例需要安装 selenium、PhantomJS
* PhantomJS 可以直接使用pip安装
以用户名密码
认证形式使用selenium库和PhantomJS驱动请求Socks代理服务器
使用提示:
* 运行环境要求 python2.x
* socks5代理http/https网页均可适用
* 使用此样例需要安装 selenium、PhantomJS
* PhantomJS 可以直接使用pip安装
使用requests
库请求Socks代理服务器, http/https网页均适用
使用提示:
* http/https网页均可适用
* 运行环境要求:requests >= 2.10.0
* socks支持是requests的额外特性,需要安装才能使用: pip install requests[socks]
使用urllib
库请求Socks代理服务器, http/https网页均适用
使用提示:
* http/https网页均可适用
* 请先安装socks: pip install pysocks
使用urllib2请求隧道代理服务器, 支持访问http和https网页, 推荐使用
使用提示: 运行环境要求 python2.6/2.7
使用requests请求隧道代理服务器, 支持访问http和https网页。推荐使用
使用提示:
* 基于requests的代码样例支持支持访问http和https网页。推荐使用
* requests不是python原生库,需要安装才能使用: pip install requests
使用requests请求隧道代理服务器, 支持访问http和https网页。推荐使用
使用提示:
* 基于requests的代码样例支持支持访问http和https网页。推荐使用
*
使用urllib2请求隧道代理服务器, 支持访问http和https网页, 推荐使用
使用提示: 运行环境要求 python3
scrapy项目标准目录结构如下:
设置代理
使代理生效
使用代理
使用提示:
* http/https网页均可适用
* scrapy不是python原生库,需要安装才能使用: pip install scrapy
* 在第一级scrapy_proxy目录下运行如下命令查看结果:scrapy crawl main
如果您发现代码有任何问题, 请提交Issue
。
欢迎提交Pull request
以使代码样例更加完善。
获取更多关于调用API和代理服务器使用的资料,请参考开发者指南。