2024-04-25 07:01:52 发布
网友
我正在寻找一种方法,只缓存被刮下的图像。你知道吗
我已经启用了HTTPCACHE\u,目前正在实现scrapy扩展:FilesystemCacheStorage
但是现在它缓存了所有被抓取的url,而只有那些进入图像管道的url应该被缓存。你知道吗
另一种解决方案是缓存页面,但仍然检查自上次刮取以来刮取的值是否发生了更改,并忽略图像。你知道吗
我尝试了HTTPCACHE\u IGNORE\u方案,但不确定如何在该方案中定向我的url\u列表项
因此,在对文档进行了一些挖掘之后,我发现默认情况下它使用了DummyPolicy,并将其更改为RFC2616,这正是我想要的。你知道吗
Scrapy Documentation RFC2616
因此,在对文档进行了一些挖掘之后,我发现默认情况下它使用了DummyPolicy,并将其更改为RFC2616,这正是我想要的。你知道吗
Scrapy Documentation RFC2616
相关问题 更多 >
编程相关推荐