如何使用pysp调用以SparkContext为参数的scala主类

2024-05-23 21:44:32 发布

您现在位置:Python中文网/ 问答频道 /正文

我从pyspark代码调用scala类。如何将SparkContext传递给Scala主类

您可以检查下面的链接是否包含将SQLContext对象传递给Scala参数化类的内容。以同样的方式,我想把SparkContext传递给scala参数化类

How to use a Scala class inside Pyspark

Scala类代码:

class Item(val sc: SparkContext) {
  def process = println("This process will call")
}

Python类调用代码:

simpleObject = sc._jvm.package_name.Item(**NEED TO PASS SPARKCONTEXT OBJECT HERE**)
simpleObject.process()

那么如何将SparkContext传递给Item

提前谢谢


Tags: 对象代码参数链接itemprocessclasspyspark