增加齐柏林飞艇上的火花执行器

Question

我正在用Hortnworks（HDP 2.4）建立一个集群。我有一个4节点集群，每个都有（16Gb内存，8个CPU）。为了使用python（pyspark），我也在Zeppelin笔记本上安装了Spark。

我的问题是：我从3个节点的配置开始，后来又添加了一个新节点（如前所述总共4个），不管怎样，Spark上的执行器数量仍然是“3”。

我在web上看到，executors的数量可以在SPARK_EXECUTOR_INSTANCES中设置，但是这个参数只出现在Ambari UI中Spark的配置页的spark-env template中。似乎有必要编造关于遗嘱执行人的决定，但在编造中我没有发现任何关于这个的东西。

最后，如何使用Ambari增加Hortonworks Hadoop集群中的executor数量？

Answer 1

皮埃特罗，你可以在齐柏林飞艇上改变。

在右上角，打开菜单，输入“解释器”配置。

有一个部分，叫做“口译员”。最后一部分叫做“火花”，你应该在那里找到这个设置。

如果不是，就插入它，编辑小节。

希望能有所帮助。

Answer 2

从右上角单击向下箭头->；单击“解释器->；查找spark2解释器->；编辑它->；添加以下两个：

• spark.shuffle.service.enabled->；真
• spark.dynamiclocation.enabled->；真