我们可以使用在spark 2.4上训练过的LightGBM模型并将其加载到spark 3上吗?

2024-05-17 13:50:03 发布

您现在位置:Python中文网/ 问答频道 /正文

我目前正在从spark 2.4切换到spark 3。我的管道在scala中(作为迁移的一部分,从2.11切换到2.12)

我有几个LightGBM模型正在生产中,它们都是经过spark 2.4培训的。我目前正在使用:val mmlspark = "com.microsoft.ml.spark" %% "mmlspark" % "1.0.0-rc3-24-495af3e4-SNAPSHOT"切换LightGBM的包,这是Spark 3上针对MMLSpark的Azure官方版本

我正在尝试在spark 3上加载我的模型,但目前失败了。 我得到这个错误: Exception in thread "main" java.lang.IllegalArgumentException: Cannot recognize JSON metadata: {"class":"com.microsoft.ml.spark.lightgbm.LightGBMClassificationModel","timestamp":1580309847587,"sparkVersion":"2.4.3","uid":"LightGBMClassifier_510af2ce3f4f","paramMap":"{}"}.

我希望这不会意味着再次培训我的模特。 以前有人遇到过这个问题吗?由于这是最近的事情,我希望有人已经考虑过这一点,因为目前(2021年5月)的文档非常少

提前谢谢


Tags: 模型com管道snapshotvalazuremlmicrosoft