在Discodex中运行Disco Map-Reduce作业

1 投票
2 回答
579 浏览
提问于 2025-04-16 21:07

我有一大堆静态数据,需要能够随机访问这些数据。因为我在用Disco来处理这些数据,所以我在Disco分布式文件系统上使用了看起来非常不错的Discodex(键值存储)。不过,Disco的文档信息比较少,所以我搞不清楚怎么把我的Discodex索引作为输入用到Disco的工作中。

这到底可不可以?如果可以的话,我该怎么做呢?

或者,我是不是想错了?把这些数据直接存成文本文件放在DDFS上会不会更好?

2 个回答

0

你也可以用DiscoDB来存储一个任务的输出,然后把这个输出作为另一个任务的输入。DiscoDB的教程里有个很好的例子。

http://discoproject.org/doc/howto/discodb.html

0

没关系,看起来我正在做的事情其实并不太合适。虽然可能有办法做到,但更好的做法是直接使用语义化的DDFS标签来引用数据块。

Discodex的正确用法是存储由Disco的map-reduce程序生成的索引,而这些索引不需要作为另一个map-reduce程序的输入。

撰写回答