如何使用Spark上下文？

Question

我将值赋值为sc=pyspark.SparkContext(). 当星号出现时，它在jupyter笔记本上运行了很长一段时间没有响应，也没有显示任何错误。在

我试过sc = SparkContext()

import pyspark
import os
from pyspark import SparkContext, SparkConf
sc = pyspark.SparkContext()  # At this part it don't respond
from pyspark.sql import SQLContext
sqlc = SQLContext(sc)

它应该继续下去。在

Answer 1

请尝试以下导入：from pyspark import * 之后，您可以这样使用它：

sc = SparkContext()

Answer 2

对于Python

from pyspark import SparkContext
sc = SparkContext(appName = "test")

但是，由于您正在使用pysparkversion2+，所以不需要初始化spark上下文。你可以创建一个spark会话并直接处理它。在

SPARK 2.0.0以后，SparkSession提供了与基础SPARK功能交互的单入口点，并允许使用DataFrame和Dataset API编程SPARK。sparkContext提供的所有功能在sparkSession中也可用。在

为了使用SQL、HIVE和Streaming的api，不需要创建单独的上下文，因为sparkSession包含所有api。在

要配置spark会话

^{pr2}$