如何用scrapy实现proxyrack

Question

最近我从proxyrack购买了IP轮换服务，我想与Scrapy一起使用。但作为他们的python示例，我对使用Scrapy实现感到困惑。请帮帮我。这是他们的代码，但我想申请scrapy

import requests

username = "vranesevic"
password = "svranesevic"

PROXY_RACK_DNS = "megaproxy.rotating.proxyrack.net:222"

urlToGet = "http://ip-api.com/json"

proxy = {"http":"http://{}:{}@{}".format(username, password, PROXY_RACK_DNS)}

r = requests.get(urlToGet , proxies=proxy)

print("Response:\n{}".format(r.text))

Answer 1

您可以遵循有关如何设置自定义代理的详细文档，如果您不熟悉，则以下是步骤

步骤1-转到middleware.py文件并粘贴此文件。首先更改URL并使用proxyrack提供的URL，并保留HTTP。另外，在基本\u auth\u标题中设置代理机架用户和密码

from w3lib.http import basic_auth_header

class CustomProxyMiddleware(object):
    def process_request(self, request, spider):
        request.meta[“proxy”] = "http://192.168.1.1:8050"
        request.headers[“Proxy-Authorization”] = 
                          basic_auth_header(“<proxy_user>”, “<proxy_pass>”) 

步骤2-转到settings.py文件并启用Downloader\u中间件或将其粘贴到底部。另外，请确保替换单词myproject并设置项目名称

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.CustomProxyMiddleware': 350,
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 400,
} 

就这样，你准备好出发了