停止在Cron作业中运行Scrapy Spider

Question

我有一个脏蜘蛛，我已经安排作为一个Cron的工作。 我使用-o选项将数据写入csv文件。你知道吗

scrapy crawl my_spider -o my_csv.csv

我正在使用Crawlera，但是我没有请求了。我试图关闭spider并将输出写入csv。Scrapy还没有将输出写入csv，我担心如果我终止进程，数据会丢失。你知道吗

有没有一种方法可以优雅地关闭spider，作为cron作业运行，而不必等待爬网“完成”？你知道吗

Answer 1

首先，恐怕您的scraper根本没有运行，否则您可能会看到一些数据进入输出CSV，因为scrapy在CSV中同时写入数据，而不是在scrapy进程完成时。你知道吗

不管怎样，如果它正在运行，请阅读下面的内容。你知道吗

运行ps -aux | grep scrapy并找到scrapy进程的PID

只需发送kill PID一次，它就会正常关闭

注：

不要多次发送kill PID，否则您的进程将在不完成剩余请求的情况下终止