我怎样才能阻止一只残破的爬行蜘蛛,然后在它离开的地方继续前进呢?

2024-04-25 21:47:45 发布

您现在位置:Python中文网/ 问答频道 /正文

我有一个垃圾CrawlSpider有一个非常大的url列表要抓取。我希望能够停止它,保存当前状态并在以后恢复它,而不必重新开始。有没有一种方法可以在这个蹩脚的框架内实现这一点?


Tags: 方法框架url列表状态垃圾crawlspider