与Pyspark一起使用第三方库

Question

我一直在使用python的PYOD库，并一直在使用LOF、locis和CBLOF算法。现在我想使用Pyspark。我在pyspark MLlib上做了一些RnD。然而，我还没有在Pyspark中发现LOF、位点或CBLOF的实现。我想知道以下几点：

1. Pyspark中是否有LOF、locis和CBLOF实现
2. 如果不是问题1，我如何将PyOD库算法与pyspark集成。因此，我可以使用PySpark对数据进行预处理，并使用PyOD中实现的算法进行训练

如果有参考，请分享。多谢各位

Answer 1

不幸的是，这些算法在Spark MLlib上不可用，您可能可以使用的唯一方法（虽然不是真正有效的，即使它有效）是通过UDFhttps://spark.apache.org/docs/latest/api/python/reference/api/pyspark.sql.functions.udf.html?highlight=udf#pyspark.sql.functions.udf