在Apache Spark中导入起泡水（H2O）管道时出错：py4j.protocol.Py4JError

Question

最近，我在最后一个阶段使用Sparkling Water的AutoML创建了一个PySpark管道（非常类似于https://github.com/h2oai/sparkling-water/blob/master/py/examples/pipelines/ham_or_spam_multi_algo.py），但当我从文件加载模型时，出现以下错误：

例：

model = loaded_pipeline.fit(data)
model.write().overwrite().save("examples/build/model")
loaded_model = PipelineModel.load("examples/build/model")


py4j.protocol.Py4JError: ai.h2o.sparkling.ml.models.H2OMOJOModel.H2OSupervisedMOJOModel does not exist in the JVM

我有最新的软件包/版本：H2O（3.28.0.3）、H2O-pysparkling-2-4（3.28.0.3-1）、PySpark（2.4.3）、Py4j（0.10.7）。 我只是在将H2O/起泡水更新到3.28版本时才遇到这个错误。它是否与某些环境变量或包版本的定义有关

Answer 1

请在代码末尾运行from pysparkling import *。此调用可确保我们向Spark应用程序添加起泡水依赖项