将不同类型的报废项导出到多个提要。
scrapy-multifeedexporter的Python项目详细描述
此Scrapy扩展导出 多个提要的不同类型。默认情况下,每个项目都有自己的 喂。
安装
$ pip install scrapy-multifeedexporter
配置
您必须使用 MultiFeedExporter将以下行添加到 settings.py蜘蛛文件:
frommultifeedexporterimportMultiFeedExporterEXTENSIONS={'scrapy.contrib.feedexport.FeedExporter':None,'multifeedexporter.MultiFeedExporter':500,}# Automatically configure available item names from your moduleMULTIFEEDEXPORTER_ITEMS=MultiFeedExporter.get_bot_items(BOT_NAME)
用法
调用scrapy crawl时,需要使用%(item_name)s 输出文件/uri名称中的占位符。以下呼叫 scrapy crawl演示占位符:
$ scrapy crawl -o "spider_name_%(item_name)s.csv" -t csv spider_name $ scrapy crawl -o "ftp://foo:bar@example.com/spider_name_%(item_name)s.csv" -t csv spider_name
如果省略占位符,则所有项目都将放置在一个文件中。
许可证
Scrapy MultifeedExporter是根据麻省理工学院的许可证出版的