如何从爬虫程序中获取已处理的管道项目？

Question

我创建了一个有几个管道步骤的爬行器。爬虫程序是一个更大的框架的一部分，这个框架要求爬虫程序返回已解析项目的列表。在

在Scrapy中，我实现了一个包含几个规范化步骤的管道。因为Scrapy是更大框架的一部分-如果我可以在通过整个管道之后将项目返回到爬虫程序和/或框架，那就太好了。有没有办法做到这一点？在

例如一些伪代码

url = 'http://somewebsite.com'
crawler = MyCrawler(url)
# each parsed website passes each pipeline step and is yielded / returned.
all_items_from_pipeline = crawler.run()

Answer 1

你不能用函数的方式来做，因为scray是异步的。但您可以将项目保存在文件或数据库中，然后其他组件可以从中获取它们。在

您还可以得到这样的好处，即物品可以存储在那里直到需要。在