如何从Scrapy修改URL?

2024-03-28 22:15:41 发布

您现在位置:Python中文网/ 问答频道 /正文

我读到我可以使用process_links作为回调,但是规则已经有了parse_item回调,所以我不能在此之前指定另一个,对吗?在

我写了一个中间件,但是在我启用它之后,scrapy停止了任何操作。我尝试了以下测试。在

class UrlModifyMiddleware(object):
    def process_request(self, request, spider):
        m_url = 'http://checkip.dyndns.org/'
        return request.replace(url = m_url)

Tags: 中间件selfurlobjectparse规则requestdef