Scrapy,HTTP状态码200和重定向

2024-04-26 21:36:35 发布

您现在位置:Python中文网/ 问答频道 /正文

我尝试使用scrapy跟踪重定向,但是我遇到了以下问题:

如果不为t.co url shortener设置用户代理,我将得到301状态代码和以下响应体:

# 'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,
<noscript>
    <META http-equiv="refresh" content="0;URL=http://sn.im/29m4uw5">
</noscript>
<title>http://sn.im/29m4uw5</title>
<script>
    window.opener = null; location.replace("http:\/\/sn.im\/29m4uw5")
</script>

现在,当我设置一个用户代理(ps3)时,我得到200个状态代码和相同的响应体(重定向没有得到解决)。我需要设置一个用户代理来跟踪链重定向,就像我访问它们一样。在

因此,我需要解决重定向问题,尽管HTTP状态代码不是3XX(比如本例中是200)。在

谢谢你的帮助!在

PS:用于测试的url是http://t.co/b00VzIsr6l

PS 2:我需要一些像是scrapyjs之类的东西吗?在

PS 3:垃圾项目设置是:

^{pr2}$

Tags: 代码用户httpurl代理title状态script