PySpark不会启动“python”：没有这样的文件或目录

Question

我正试图在我的桌面上设置pyspark，并通过终端与之交互。 我在遵循这个指南

http://jmedium.com/pyspark-in-python/

当我在终端上运行“pyspark”时

/home/jacob/spark-2.1.0-bin-hadoop2.7/bin/pyspark: line 45: python:
command not found
env: ‘python’: No such file or directory

我遵循了一些指南，这些指南都导致了同一问题（有些指南在设置.profile方面有不同的详细信息）。到目前为止，还没有一个工作正常）。 我安装了java、python3.6和Scala。 我的配置文件配置如下：

#Spark and PySpark Setup
PATH="$HOME/bin:$HOME/.local/bin:$PATH"
export SPARK_HOME='/home/jacob/spark-2.1.0-bin-hadoop2.7'
export PATH=$SPARK_HOME:$PATH
export PYTHONPATH=$SPARK_HOME/python:$PYTHONPATH
#export PYSPARK_DRIVER_PYTHON="jupyter"
#export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
export PYSPARK_PYTHON=python3.6.5

注意，jupyter笔记本已经被注释掉了，因为我想现在就在shell中启动pyspark，不启动笔记本

有趣的是，spark shell发射很好

我用的是Ubuntu 18.04.1和 火花2.1

查看图像

我已经尝试了所有我能找到的指南，因为这是我第一次设置Spark，我不知道如何从这里排除故障

谢谢你

Attempting to execute pyspark

.profile

versions

Answer 1

我已经解决了这个问题。只需键入以下命令：

sudo apt install python

Answer 2

您应该在.profile中设置export PYSPARK_PYTHON=python3，而不是导出PYSPARK_PYTHON=python3.6.5

那当然是source .profile。

这对我很有用。

其他选项，安装sudo apt python（用于2.x）是不合适的。

Answer 3

对于那些可能遇到这个的人，我想出来了！

我特别选择使用一个旧版本的Spark来跟随我正在观看的教程-Spark 2.1.0。我不知道Python的最新版本（在编写本文时是3.5.6）与Spark 2.1不兼容。因此PySpark不会发射。

我通过使用Python 2.7并在.bashrc中相应地设置路径来解决这个问题

export PYTHONPATH=$PYTHONPAH:/usr/lib/python2.7
export PYSPARK_PYTHON=python2.7