java从Hadoop的多个输入和多个输出生成单个文件
当我在MultipleInputs
中使用2个文件,在MultipleOutputs
中使用2个文件时,我得到2个文件作为减速机输出。如何设置仅获取1个文件作为减速机输出?
唯一的可能是使用SequenceFile
吗
MultipleInputs.addInputPath(job, new Path(args[0]), TextInputFormat.class);
MultipleInputs.addInputPath(job, new Path(args[1]), TextInputFormat.class);
FileOutputFormat.setOutputPath(job, new Path(args[2]));
MultipleOutputs.addNamedOutput(job, "outMin", TextOutputFormat.class, Text.class, DoubleWritable.class);
MultipleOutputs.addNamedOutput(job, "outMax", TextOutputFormat.class, Text.class, DoubleWritable.class);
共 (0) 个答案