如何在python中缓存提取的数据

2024-04-28 06:00:25 发布

您现在位置：Python中文网/ 问答频道 /正文
1053 3

我编写了一个刮刀，它从几页中提取数据。现在我意识到它有时会中断（例如的互联网中断），我会丢失所有（已经）刮取的数据，必须重新启动刮取过程

是否有一个模块或解决方案可以缓存我已经提取的数据，以防脚本再次中断

致以最诚挚的问候


Tags： 模块数据脚本过程互联网解决方案刮刀意识
1条回答
网友
1楼 · 发布于 2024-04-28 06:00:25

我建议您使用scrapy库，它实现了几种机制来保存数据和管理spider

相关问题 更多 >

    编程相关推荐