Scrapy响应url与我在开始url上定义的url不完全相同

Question

我有一个蜘蛛我给它这个url https://tuskys.dpo.store/#!/~/search/keyword=dairy milk

然而，当我尝试在scrapy解析方法中获取url时，url看起来像https://tuskys.dpo.store/?_escaped_fragment_=%2F%7E%2Fsearch%2Fkeyword%3Ddairy%2520milk

下面是演示我的问题的演示代码

import scrapy
class TuskysDpoSpider(scrapy.Spider):
    name = "Tuskys_dpo"
    #allowed_domains = ['ebay.com']
    start_urls = ['https://tuskys.dpo.store/#!/~/search/keyword=dairy milk']

    def parse(self, response):
        yield{'url':response.url}

结果：{"url": "https://tuskys.dpo.store/?_escaped_fragment_=%2F%7E%2Fsearch%2Fkeyword%3Ddairy%2520milk"}

为什么我的scrapy response url与我定义的url不完全相同？有没有办法解决这个问题？

Answer 1

您应该使用response.request.url，因为您是从起始url重定向的，所以response.url是重定向到的url