从碎片日志中删除忽略响应消息

Question

我使用python和scrapy网站有很多不正确的链接，导致404状态代码页。向日志添加消息“忽略响应404”-它非常填充日志，如何删除这种消息

Answer 1

Scrapy使用python的logging模块，因此您只需按照通常的方式进行操作—获取相关的记录器并更改其日志级别

文档甚至在Logging - Advanced customization下显示了这个确切的示例：

import logging
import scrapy


class MySpider(scrapy.Spider):
    # ...
    def __init__(self, *args, **kwargs):
        logger = logging.getLogger('scrapy.spidermiddlewares.httperror')
        logger.setLevel(logging.WARNING)
        super().__init__(*args, **kwargs)