我成功地安装了jdk、spark、scala和hadoop,并设置了环境变量。我将pyspark和SparkSession导入我的笔记本。但在创建会话时,我得到了一个错误,即:
FileNotFoundError: [WinError 2] The system cannot find the file specified SparkSession.builder.appName('Basics').getOrCreate()
这是我用来创建会话的代码
spark = SparkSession.builder.appName('Basics').getOrCreate()
为了解决这个问题,我尝试了一些方法。我遇到了这段代码,我无法在命令提示符下运行spark,也无法将其导入笔记本
import os
print(os.environ.get("SPARK_HOME"))
print(os.path.join(os.environ.get("SPARK_HOME"), './bin/spark-submit.cmd'))
我尝试过重置环境变量,但没有成功。我还尝试从命令提示符重新安装pyspark,但没有成功
谢谢你的帮助
目前没有回答
相关问题 更多 >
编程相关推荐