MapReduce批量更新数据

Question

我需要使用Python用CSV文件（250000行）大容量更新数据存储。通过对这一领域的研究，我可以看出MapReduce适合这个问题。在

我发现了一些示例，显示了类似的操作，但似乎找不到如何使用此库对数据存储进行简单的批量更新的示例。在

你知道这方面的例子吗？或者你能给我指出正确的方向吗？在

谢谢

http://code.google.com/p/appengine-mapreduce/wiki/GettingStartedInPython

Answer 1

您还可以使用bulk uploader将数据从csv上载到数据存储。在

Answer 2

mapreduce可以产生mapreduce.operation.db.Put（entity）作为迭代器，app engine可以非常高效地处理更新。或者你可以把数据库输出（实体）在mapreduce方法中。对我来说，最适合你阅读的不是所有实体的Map更新工具。在