PySpark不会启动“python”:没有这样的文件或目录

2021-04-12 00:06:47 发布

您现在位置:Python中文网/ 问答频道 /正文

我正试图在我的桌面上设置pyspark,并通过终端与之交互。 我在遵循这个指南

http://jmedium.com/pyspark-in-python/

当我在终端上运行“pyspark”时

/home/jacob/spark-2.1.0-bin-hadoop2.7/bin/pyspark: line 45: python:
command not found
env: ‘python’: No such file or directory

我遵循了一些指南,这些指南都导致了同一问题(有些指南在设置.profile方面有不同的详细信息)。到目前为止,还没有一个工作正常)。 我安装了java、python3.6和Scala。 我的配置文件配置如下:

#Spark and PySpark Setup
PATH="$HOME/bin:$HOME/.local/bin:$PATH"
export SPARK_HOME='/home/jacob/spark-2.1.0-bin-hadoop2.7'
export PATH=$SPARK_HOME:$PATH
export PYTHONPATH=$SPARK_HOME/python:$PYTHONPATH
#export PYSPARK_DRIVER_PYTHON="jupyter"
#export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
export PYSPARK_PYTHON=python3.6.5

注意,jupyter笔记本已经被注释掉了,因为我想现在就在shell中启动pyspark,不启动笔记本

有趣的是,spark shell发射很好

我用的是Ubuntu 18.04.1和 火花2.1

查看图像

我已经尝试了所有我能找到的指南,因为这是我第一次设置Spark,我不知道如何从这里排除故障

谢谢你

Attempting to execute pyspark

.profile

versions

3条回答
网友
1楼 ·

我已经解决了这个问题。只需键入以下命令:

sudo apt install python
网友
2楼 ·

对于那些可能遇到这个的人,我想出来了!

我特别选择使用一个旧版本的Spark来跟随我正在观看的教程-Spark 2.1.0。我不知道Python的最新版本(在编写本文时是3.5.6)与Spark 2.1不兼容。因此PySpark不会发射。

我通过使用Python 2.7并在.bashrc中相应地设置路径来解决这个问题

export PYTHONPATH=$PYTHONPAH:/usr/lib/python2.7
export PYSPARK_PYTHON=python2.7
网友
3楼 ·

您应该在.profile中设置export PYSPARK_PYTHON=python3,而不是导出PYSPARK_PYTHON=python3.6.5

那当然是source .profile

这对我很有用。

其他选项,安装sudo apt python(用于2.x)是不合适的。

相关问题