在Google App Engine上运行Hadoop？

Question

在谷歌应用引擎上能运行map reduce任务吗？

如果有相关的参考资料或教程就太好了。

谢谢！

Answer 1

这里是完整的文档：https://developers.google.com/appengine/docs/python/dataprocessing/overview

Answer 2

你不能在Appengine上运行Hadoop（因为它没有文件系统的访问权限）。

你可以考虑使用AWS的ElasticMapreduce。这是一个基于云的平台，用来运行Mapreduce任务。

ElasticMapreduce

Answer 3

有点儿意思。

你不能直接使用真正的MapReduce框架，因为它的架构和AppEngine不太兼容。

不过，有一个专门为GAE（Google App Engine）构建的类似系统，叫做appengine-mapreduce。这个网站有点儿让人困惑，因为它的第一个版本只支持“映射”这一部分，没有后面的“归约”步骤。最近他们发布了一个完整支持mapreduce的新版本，但有些文档仍然提到之前只支持映射的版本。

最好的入门介绍是GoogleIO上Mike Aizatskyi的演讲。