无法抓取一些带有碎片的网站

Question

我已经用了两年了。现在有一个问题，我不知道这是什么问题。我在爬大约80个网站。所有的网站都被爬网，但有6个网站没有。我使用的是RandomProxy中间件，RotateUserAgent中间件和splash。在

所以，你能帮我弄清楚这是什么问题吗。然后我来寻找解决方案。无法爬网的网站是：http://proza.ru/avtor/miliku

错误是：

link:http://proza.ru/avtor/miliku; message: Traceback (most recent call last): Failure: twisted.web._newclient.ResponseNeverReceived: [<twisted.python.failure.Failure twisted.internet.error.ConnectionLost: Connection to the other side was lost in a non-clean fashion.>]

Answer 1

我不确定robot.txt策略是否导致了您的错误。但你可以试着禁用“服从”机器人.txt“规则在设置.py：

ROBOTSTXT_OBEY = False

禁用此功能可能会导致违反站点策略。所以小心点！在