如何在Python3.6中初始化SparkSession和SparkContext?

2024-06-07 06:08:00 发布

您现在位置:Python中文网/ 问答频道 /正文

因此,我尝试使用以下代码在python 3.6中初始化SparkSession和SparkContext:

from pyspark.sql import SparkSession
from pyspark import SparkContext  

#Create a Spark Session
SpSession = SparkSession \
    .builder \
    .master("local[2]") \
    .appName("V2 Maestros") \
    .config("spark.executor.memory", "1g") \
    .config("spark.cores.max","2") \
    .config("spark.sql.warehouse.dir", "file:///c:/temp/spark-warehouse")\
    .getOrCreate()

每次尝试执行此操作时,都会出现以下错误:

^{pr2}$

请告诉我我错在哪里。我是个新手。在


Tags: 代码fromimportconfigsqlsessioncreatebuilder
1条回答
网友
1楼 · 发布于 2024-06-07 06:08:00

我认为Python3.6有一个问题。请参考here。我建议您现在使用旧版本的python。一旦问题得到修复和测试,就可以开始使用python3.6

相关问题 更多 >