Python Celery 异步将结果保存到数据库

Question

我正在用Python配合Celery和RabbitMQ做一个网页爬虫，目的是统计页面上的链接数量。

请问，像MySQL这样的数据库能否异步写入？是每添加一行就提交一次更改可以吗，还是说必须批量处理（一次添加多行），然后在达到一定数量或时间后再提交？

我更倾向于使用SQLAlchemy和MySQL，除非有更推荐的组合适合Celery和RabbitMQ。我还看到有人推荐使用NoSQL（比如CouchDB）。

Answer 1

对于像计数器和日志这样的写入频繁的操作，NoSQL数据库通常是最好的选择。就我个人而言，我会使用mongoDB来处理这类任务。