javahadoop将特定键的所有map方法生成的所有值都发送到一个reduce方法,对吗?
如果正确,根据标题,如果单个键中的数据太多,一个键无法处理该怎么办
如果没有,是否会降低处理级别?一个减少排放,另一个消耗?这似乎是不对的,因为当输入格式和输出格式不同时会出现问题,但只是感到困惑
这可能与: 合并器是仅用于每个节点的本地聚合还是用于所有节点的全局聚合
真的需要一个答案不是简单的“是”或“否”,而是一个解释将不胜感激
你可以在下面搜索框中键入要查询的问题!
如果正确,根据标题,如果单个键中的数据太多,一个键无法处理该怎么办
如果没有,是否会降低处理级别?一个减少排放,另一个消耗?这似乎是不对的,因为当输入格式和输出格式不同时会出现问题,但只是感到困惑
这可能与: 合并器是仅用于每个节点的本地聚合还是用于所有节点的全局聚合
真的需要一个答案不是简单的“是”或“否”,而是一个解释将不胜感激
# 1 楼答案
是的,特定钥匙的数据将被发送到特定的减速器。Combiner肯定会缓解一个密钥拥有大部分记录的问题。我想不出更好的方法来更快地完成这项工作
Combiner与mapper在同一节点上运行,用于本地聚合,reducer用于集群中所有节点的全局聚合