Scrapy-Pipelines 0.2

概述

这些管道使scrapy能够将项目保存到各种后端，包括：

• MongoDB

而且这些管道还提供了多种保存或更新项目的方法，以及 由后端创建的返回ID

要求

• Python3.6+
• 适用于Linux、Windows、Mac OSX

安装

快捷方式：

pip install scrapy-pipelines

有关更多详细信息，请参阅文档中的安装部分： https://scrapy-pipelines.readthedocs.io/en/latest/intro/installation.html

文档

文档可在线获取，网址为 https://scrapy-pipelines.readthedocs.io/en/latest/和文档目录中。

社区（博客、Twitter、邮件列表、IRC）

保持此部分与scrapy相同是为了让scrapy受益。

见https://scrapy.org/community/

贡献

在进行此回购时，保持此部分与scrapy相同会更容易 合并回scrapy。

见https://doc.scrapy.org/en/master/contributing.html

使用废料的公司

保持此部分与scrapy相同是为了让scrapy受益。

见https://scrapy.org/companies/

商业支持

保持此部分与scrapy相同是为了让scrapy受益。

见https://scrapy.org/support/

待办事项

• [X]在open_spider（）中添加索引创建
• [X]添加项目完成方法
• [X]为MongoDB文档的ID返回添加信号
• []添加MongoDB文档更新
• []为MongoDB Docker支持添加Percona服务器
• []添加redis支持
• []添加infloxdb支持
• []添加leveldb支持