Pyspark错误：Java网关进程在发送其端口号之前退出

Question

我正在使用Pyspark在Jupyter笔记本中运行一些命令，但它正在抛出错误。我尝试了此链接中提供的解决方案（Pyspark: Exception: Java gateway process exited before sending the driver its port number） 我尝试了这里提供的解决方案（例如将路径更改为C:Java、卸载Java SDK 10和重新安装Java 8），但它仍然向我抛出了相同的错误。

我试着卸载并重新安装pyspark，我试着从anaconda提示符下运行，但还是得到了同样的错误。我使用的是Python 3.7，pyspark版本是2.4.0。

如果我使用这段代码，就会得到这个错误。“异常：Java网关进程在发送其端口号之前退出”。

from pyspark import SparkContext
from pyspark.sql import SQLContext
sc = SparkContext() 
sqlContext = SQLContext(sc)
from pyspark.mllib.linalg import Vector, Vectors
from nltk.stem.wordnet import WordNetLemmatizer
from pyspark.ml.feature import RegexTokenizer, StopWordsRemover, Word2Vec

但是如果我从这段代码中删除sparkcontext运行良好，但是我需要spark上下文作为我的解决方案。下面没有spark上下文的代码不会抛出任何错误。

from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.mllib.linalg import Vector, Vectors
from nltk.stem.wordnet import WordNetLemmatizer
from pyspark.ml.feature import RegexTokenizer, StopWordsRemover, Word2Vec

如果能帮我解决这个问题，我将不胜感激。我正在使用Windows10 64位操作系统。

这是完整的错误代码图片。

Answer 1

你是怎么安装spark的？？显然，您在启动java进程时遇到了问题，这就是错误的含义。

无论您在哪里找到，您都可能希望使用信中的说明重新安装Spark。但是，您也可以使用conda（anaconda或miniconda），在这种情况下，安装pyspark也可以获得当前的java

conda install pyspark

Answer 2

试试这个

sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer

对我来说用linux很管用，对windows也应该管用

此链接将帮助您，因为您是windows用户https://superuser.com/questions/947220/how-to-install-packages-apt-get-install-in-windows

Answer 3

在bash终端中键入此命令，它将被修复：

export PYSPARK_SUBMIT_ARGS="--master local[2] pyspark-shell"

所有这些操作都是将pyspark-shell导出到shell环境变量PYSPARK_SUBMIT_ARGS。