使用欧几里德距离或simi的pyspark中的最近邻

Question

所以我需要在pyspark DF中使用欧几里德距离或任何东西来找到给定行的最近邻。我有20多个列，超过1000行，所有的值都是数字。在

我试图在pyspark中过采样一些数据，因为mllib没有内置的支持，所以我决定用smote自己创建它。在

到目前为止，我的方法是使用stringtoindex将所有的范畴距离转换成索引，这样我就可以找到欧几里德距离和邻域，从而执行smote。在

我对spark和ml比较陌生。任何帮助都将不胜感激。在

Answer 1

没试过，但我找到了这个脚本：https://github.com/jakac/spark-python-knn/blob/master/python/gaussalgo/knn/knn.py

如果您的数据是dataframe，您应该首先使用向量汇编程序https://spark.apache.org/docs/latest/ml-features.html#vectorassembler将列合并到一个向量中，然后使用df.select("id", "yourColumnVector")

我提供的库似乎只适用于rdd，因此您应该使用df.rdd将数据帧转换为rdd