从scrapyd获取spider实例

Question

当您使用scrapyd调度运行时，是否有方法获取运行的spider实例？我需要访问spider中的属性来处理运行之外的问题，不能使用json/csv文件来实现这一点。在

Answer 1

我在here中找到了我需要的东西：使用spider_close方法在spider关闭之前运行我需要的代码。在

您需要将以下内容添加到管道的__init__方法中（否则它永远不会接收spider_closed信号）：

dispatcher.connect(self.spider_opened, signals.spider_opened)
dispatcher.connect(self.spider_closed, signals.spider_closed)