Pyspark：异常：Java网关进程在向驱动程序发送其端口号之前退出

Question

我想在我的MacBookAir上运行pyspark。当我尝试启动它时，我会得到错误：

Exception: Java gateway process exited before sending the driver its port number

当启动时调用sc=SparkContext（）时。我尝试运行以下命令：

./bin/pyspark
./bin/spark-shell
export PYSPARK_SUBMIT_ARGS="--master local[2] pyspark-shell"

没有用。我也看过这里：

Spark + Python - Java gateway process exited before sending the driver its port number?

但这个问题一直没有答案。请帮忙！谢谢。

Answer 1

这应该对你有帮助

一种解决方案是将pyspark shell添加到shell环境变量pyspark_SUBMIT_ARGS：

export PYSPARK_SUBMIT_ARGS="--master local[2] pyspark-shell"

python/pyspark/java_gateway.py中有一个更改，如果用户设置了pyspark_SUBMIT_ARGS变量，则该更改要求pyspark_SUBMIT_ARGS包含pyspark shell。