如何使用scrapy捕捉错误，以便在收到用户超时错误时可以执行某些操作？

Question

ERROR: Error downloading <GET URL_HERE>: User timeout caused connection failure.

我使用刮刀时不时会遇到这个问题。有没有方法可以抓住这个问题并在它发生时运行函数？我在网上找不到怎么做。

Answer 1

我更喜欢使用这样的自定义重试中间件：

from scrapy.contrib.downloadermiddleware.retry import RetryMiddleware

from fake_useragent import FakeUserAgentError

class FakeUserAgentErrorRetryMiddleware(RetryMiddleware):

    def process_exception(self, request, exception, spider):
        if type(exception) == FakeUserAgentError: return self._retry(request, exception, spider)