有 Java 编程相关的问题?

你可以在下面搜索框中键入要查询的问题!

javahadoop将特定键的所有map方法生成的所有值都发送到一个reduce方法,对吗?

如果正确,根据标题,如果单个键中的数据太多,一个键无法处理该怎么办

如果没有,是否会降低处理级别?一个减少排放,另一个消耗?这似乎是不对的,因为当输入格式和输出格式不同时会出现问题,但只是感到困惑

这可能与: 合并器是仅用于每个节点的本地聚合还是用于所有节点的全局聚合

真的需要一个答案不是简单的“是”或“否”,而是一个解释将不胜感激


共 (1) 个答案

  1. # 1 楼答案

    是的,特定钥匙的数据将被发送到特定的减速器。Combiner肯定会缓解一个密钥拥有大部分记录的问题。我想不出更好的方法来更快地完成这项工作

    It may be related: Is the combiner only for LOCAL aggregation as per one node or for global aggregation for all nodes?

    Combiner与mapper在同一节点上运行,用于本地聚合,reducer用于集群中所有节点的全局聚合