谷歌应用引擎上的Mapreduce

2024-04-25 21:19:22 发布

您现在位置:Python中文网/ 问答频道 /正文

我对GAE中mapreduce支持的状态和文档非常困惑。在

在官方文件https://developers.google.com/appengine/docs/python/dataprocessing/中有一个例子,但是:

  • 应用程序用途mapreduce.input_读取器.BlobstoreZipInputReader,我想使用mapreduce.input_读取器.DatastoreInputReader。文档中提到了DatastoreInputReader的参数,但没有提到返回map fonction的返回值。。。。在
  • 应用程序“demo”(页面Helloworld)有一个地图还原.yaml应用程序中未使用文件???在

所以我找到了http://code.google.com/p/appengine-mapreduce/。是一个完整的例子mapreduce.input_读取器.DatastoreInputReader,但写的是reduce phase尚不受支持!在

所以我想知道是否有可能使用DatastoreInputReader实现第一种形式的mapreduce,来执行一个真正的map/reduce来获得一个groupby等价物?在


Tags: 文件文档com应用程序mapreduceinput状态
1条回答
网友
1楼 · 发布于 2024-04-25 21:19:22

第二个例子来自早期版本,它确实只支持mapper阶段。但是,正如第一个示例所示,现在支持完整的map/reduce功能,并且已经支持了一段时间。这个地图还原.yaml是早期版本的,现在没有使用。在

我不知道你真正的问题是什么。从DatastoreInputReader发送到map函数的值是从被映射的类型获取的单个实体。在

相关问题 更多 >