有 Java 编程相关的问题?

你可以在下面搜索框中键入要查询的问题!

java从Hadoop的多个输入和多个输出生成单个文件

当我在MultipleInputs中使用2个文件,在MultipleOutputs中使用2个文件时,我得到2个文件作为减速机输出。如何设置仅获取1个文件作为减速机输出? 唯一的可能是使用SequenceFile

MultipleInputs.addInputPath(job,  new Path(args[0]), TextInputFormat.class);
MultipleInputs.addInputPath(job,  new Path(args[1]), TextInputFormat.class);

FileOutputFormat.setOutputPath(job, new Path(args[2]));
MultipleOutputs.addNamedOutput(job, "outMin", TextOutputFormat.class, Text.class, DoubleWritable.class);
MultipleOutputs.addNamedOutput(job, "outMax", TextOutputFormat.class, Text.class, DoubleWritable.class);

共 (0) 个答案