如何在一个节点上同时运行多个映射器

Question

我在Mac上使用Hadoop2.8.0。我想同时运行所有的制图器。我尝试强制对输入文件进行多个拆分，并使用多个输入文件，以便创建多个映射器。它们是创建的，但它们是按顺序运行的。我在输出中看到了如下内容：

开始任务****\u m_0

。。。。。。。。。。。。。。。在

完成任务****\u m_0

开始任务****\u m_1

为什么地图绘制者一个接一个地跑？如何配置以使它们立即启动？在

Answer 1

如果您在本地模式下运行mapreduce（例如，从eclipse），它一次只能运行一个mapper和一个reducer。如果您在分布式（或伪分布式）模式下运行它（例如，从终端使用hadoop命令），它可以使用更多映射器运行。在

确保在配置文件中将maxper的最大数量设置为1以上。在

如果你有4个文件，你的Mac电脑至少有4个核心，那么你应该看到至少4个地图任务同时运行。在