仅缓存图像

2022-07-06 13:01:31 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在寻找一种方法,只缓存被刮下的图像。你知道吗

我已经启用了HTTPCACHE\u,目前正在实现scrapy扩展:FilesystemCacheStorage

但是现在它缓存了所有被抓取的url,而只有那些进入图像管道的url应该被缓存。你知道吗

另一种解决方案是缓存页面,但仍然检查自上次刮取以来刮取的值是否发生了更改,并忽略图像。你知道吗

我尝试了HTTPCACHE\u IGNORE\u方案,但不确定如何在该方案中定向我的url\u列表项


Tags: 方法图像url列表管道方案页面解决方案scrapyignore定向httpcachefilesystemcachestorage