从设置中获取代理参数的零星http代理中间件
proxy-middleware的Python项目详细描述
从设置中读取代理配置的蹩脚的中间件。
内容
Install
pip install proxy-middleware
ProxyFromSettingsMiddleware
从设置文件设置代理的中间件。
用法:将其添加到DOWNLOADER_MIDDLEWARES的剪贴设置中:
DOWNLOADER_MIDDLEWARES = { 'proxy_middleware.ProxyFromSettingsMiddleware': 10, ...
通过HTTP_PROXY和HTTPS_PROXY设置传递代理配置 变量。HTTPPROXY_AUTH_ENCODING也受尊重:
scrapy crawl my-spider -s HTTP_PROXY=http://localhost:8118
ProxyOnlyTorMiddleware
一个只向Tor站点代理请求的中间件(域以“.洋葱”结尾)。
用法:将其添加到DOWNLOADER_MIDDLEWARES的剪贴设置中:
DOWNLOADER_MIDDLEWARES = { 'proxy_middleware.ProxyOnlyTorMiddleware': 10, ...
设置:http代理的HTTP_PROXY和https代理的HTTPS_PROXY。
0.2.0 (2017-05-29)
- ProxyOnlyTorMiddleware已添加。