从命令提示符运行pySpark时出现“系统找不到指定的路径”错误

2024-05-08 12:25:54 发布

您现在位置:Python中文网/ 问答频道 /正文

我成功地安装了jdk、spark、scala和hadoop,并设置了环境变量。我将pyspark和SparkSession导入我的笔记本。但在创建会话时,我得到了一个错误,即:

FileNotFoundError: [WinError 2] The system cannot find the file specified SparkSession.builder.appName('Basics').getOrCreate()

这是我用来创建会话的代码

spark = SparkSession.builder.appName('Basics').getOrCreate()

为了解决这个问题,我尝试了一些方法。我遇到了这段代码,我无法在命令提示符下运行spark,也无法将其导入笔记本

import os
print(os.environ.get("SPARK_HOME"))
print(os.path.join(os.environ.get("SPARK_HOME"), './bin/spark-submit.cmd'))

我尝试过重置环境变量,但没有成功。我还尝试从命令提示符重新安装pyspark,但没有成功

谢谢你的帮助


Tags: 代码getosbuilderenviron环境变量笔记本spark