为什么python进程多于Spark中的内核数？

Question

我正在ipython控制台中运行pyspark作业。我将spark master设置为local[4]。所以我希望驱动程序有一个内核，应该是一个Java进程，另外三个内核分别运行一个Python进程。但是，这是我的top的屏幕截图

为什么有16个python进程？为什么只有3个python进程？如果我没记错的话，16是这个服务器上的核心总数。在

Answer 1

如果您还没有这样做，请查看here。在

您已经决定使用四个worker，每个worker默认有一个executor。但是，一个执行器正在运行一些任务，每个任务都是一个python进程。在

关于这个问题，给出了一个很好的解释here。在