为什么1行数据帧上的collect（）使用2000个执行器？

Question

这是我能想到的最简单的数据帧。我使用的是PySpark 1.6.1。在

# one row of data
rows = [ (1,   2) ]
cols = [ "a", "b" ]
df   = sqlContext.createDataFrame(rows, cols)

所以这个数据框完全可以放在内存中，没有任何文件的引用，在我看来非常微不足道。在

但当我收集数据时，它使用了2000个执行器：

^{pr2}$

在收集期间，使用2000个执行器：

[Stage 2:===================================================>(1985 + 15) / 2000]

然后是预期输出：

[Row(a=1, b=2)]

为什么会这样？数据帧不应该完全存储在驱动程序的内存中吗？在

Answer 1

您可以配置执行器的数量。在许多情况下，spark将尽可能多地使用执行器，并且执行时间比限制为少数执行器时要糟糕得多。在

conf = SparkConf()
conf.set('spark.dynamicAllocation.enabled','true')
conf.set('spark.dynamicAllocation.maxExecutors','32')