旋转代理的垃圾下载中间件。
scrapy-proxy-rotator的Python项目详细描述
这是一个设置代理的Scrapy下载中间件 请求服务器。 目前代理服务器是随机旋转的。 今后将支持更多的轮调战略。
配置
剪贴设置文件:
DOWNLOADER_MIDDLEWARES = { 'scrapy_proxy_rotator.ProxyMiddleware': 1, } PROXY_ROTATOR = { 'username': 'user1', 'password': 'pass1', 'proxies_file': 'proxies.txt', }在代理文件中,代理服务器必须格式化,如:cTIT.http://Hoo:Puth。