写入磁盘时出错

Question

看起来，在写入文件之前，scrapy管道会等待爬网完成。持久性选项（使用JOBDIR）在爬网期间似乎不会写入输出文件。你知道吗

如果我想：

• a）按显示内容保存每个项目

• b）每收集10个项目保存一次

Answer 1

如果在使用scrapy进行日志记录时遇到问题，可以通过在设置.py您的Scrapy项目中的文件：

LOG_LEVEL = 'ERROR'

如果要将输出打印到单独的文件，可以通过命令行这样做

scrapy crawl yourobject -s LOG_FILE= mynew.log

这就是我在Ubuntu上的工作方式。你知道吗