发痒退301reddit.com网站

Question

我用reddit作为学习好斗的基础。有一段时间它工作得很好，但现在它总是返回301重定向，即使只是用“scrapy shell”调用shell也是如此www.reddit.com网站". 有什么办法解决这个问题吗？在

Answer 1

我认为这与reddit本身有关，因为它似乎阻止了您的IP或用户代理，您需要尝试调整以下内容： 1-提高垃圾设置中的下载延迟 2-尝试更改用户代理 3-将代理与scrapy一起使用

有关设置的详细信息：http://doc.scrapy.org/en/latest/topics/settings.html

对于废代理： http://doc.scrapy.org/en/latest/topics/downloader-middleware.html

Answer 2

在url中使用https/http方案

scrapy shell https://www.reddit.com