在Discodex中运行Disco Map-Reduce作业
我有一大堆静态数据,需要能够随机访问这些数据。因为我在用Disco来处理这些数据,所以我在Disco分布式文件系统上使用了看起来非常不错的Discodex(键值存储)。不过,Disco的文档信息比较少,所以我搞不清楚怎么把我的Discodex索引作为输入用到Disco的工作中。
这到底可不可以?如果可以的话,我该怎么做呢?
或者,我是不是想错了?把这些数据直接存成文本文件放在DDFS上会不会更好?
2 个回答
0
你也可以用DiscoDB来存储一个任务的输出,然后把这个输出作为另一个任务的输入。DiscoDB的教程里有个很好的例子。
0
没关系,看起来我正在做的事情其实并不太合适。虽然可能有办法做到,但更好的做法是直接使用语义化的DDFS标签来引用数据块。
Discodex的正确用法是存储由Disco的map-reduce程序生成的索引,而这些索引不需要作为另一个map-reduce程序的输入。