直接将数据抓取到Cassandra数据库

Question

有没有人能帮我解决关于Cassandra数据库的问题？其实，我想把抓取到的数据直接放到Cassandra里。目前，我正在使用scrapy从不同的网站解析数据。

提前谢谢大家。

ssich

Answer 1

在Scrapy中，一旦你抓取了数据，就可以通过一个叫做“项目管道”的东西来存储这些数据。

文档写得很简单易懂：http://doc.scrapy.org/en/latest/topics/item-pipeline.html

只需要在你自定义的项目管道中使用Cassandra的Python驱动，就可以把结果存储起来。

---

编辑：更新了失效的链接，换成了有效的链接。