java如何在Hadoop中完成此任务？（实时公共订阅共享队列）

Question

我有三条线a，b，c

a&；循环，每次输出一行

a和b都将数据写入c

c:从a和b中读取数据，并进行一些处理

我想在HDFS之上实现这个任务。所以A和B将数据写入HDFS，C从中读取数据

所以首先我想到了一个想法，每次循环，A都会写入文件夹“/A-c”中的一个新文件。e、 g.在第一个循环中，输出一行到文件/A-c/0。txt，循环的下一次时间，/a-c/1。txt等

读卡器C从/a-C和/b-C读取文件，读取后删除文件

这被证明是可行的，但效率极低

问题:

是否有其他方法在HDFS（或channel）之上创建类似队列的结构，以便有一个公共通道p_队列，其中a&；B可以将数据写入，C可以读取

（记住这些事情同时发生。）

或者，在HDFS之上实现此任务的任何其他方法