使用Scrapy时出现"ParseError
大部分时候，抓取工具都能正常工作，但有时候我会遇到这样的情况：
2014-08-28 11:02:27-0700 [aqicn] DEBUG: Retrying <GET http://site_address_com/> (failed 1 times): [<twisted.python.failure.Failure <class 'twisted.web._newclient.ParseError'>>]
我不明白为什么会发生这种情况。有没有人遇到过同样的问题？这可能是个奇怪的bug吗？我试着找一些资料，但只找到了一部分官方文档。
2 个回答
1
我觉得你遇到了这个问题。如你所见，目前没有官方的解决办法，只有一个临时修补的方法在这个问题上。
1
我们在想，@nramirezuy 和 @B.Mr.W 的抓取工具在网站上被封了。我现在使用 TOR，就没有遇到这个错误了。谢谢你们的帮助。