我尝试使用scrapy跟踪重定向,但是我遇到了以下问题:
如果不为t.co url shortener设置用户代理,我将得到301状态代码和以下响应体:
# 'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,
<noscript>
<META http-equiv="refresh" content="0;URL=http://sn.im/29m4uw5">
</noscript>
<title>http://sn.im/29m4uw5</title>
<script>
window.opener = null; location.replace("http:\/\/sn.im\/29m4uw5")
</script>
现在,当我设置一个用户代理(ps3)时,我得到200个状态代码和相同的响应体(重定向没有得到解决)。我需要设置一个用户代理来跟踪链重定向,就像我访问它们一样。在
因此,我需要解决重定向问题,尽管HTTP状态代码不是3XX(比如本例中是200)。在
谢谢你的帮助!在
PS:用于测试的url是http://t.co/b00VzIsr6l
PS 2:我需要一些像是scrapyjs之类的东西吗?在
PS 3:垃圾项目设置是:
^{pr2}$
目前没有回答
相关问题 更多 >
编程相关推荐