在Scrapy中跟随重定向链接

Question

我该怎么设置这个呢？我写了 handle_httpstatus_list = [301, 302, 303]，但是 scrapy 并没有跟随新的链接，它只是开始保存空的页面文件。

附注：我的母语不是英语，抱歉！

Answer 1

你还需要在请求中提到 dont_redirect = true，像这样：

meta = {'dont_redirect': True, "handle_httpstatus_list" : [301, 302, 303]}

祝好

Answer 2

Scrapy 默认会处理重定向，这意味着在 DOWNLOADER_MIDDLEWARES 设置中，RedirectMiddleware 是开启的，并且 REDIRECT_ENABLED 设置为 True。