计算PySpark数据帧列的模式？

Question

最终我想要的是一个列的模式，对于数据帧中的所有列。对于其他摘要统计信息，我看到了两个选项：使用DataFrame聚合，或者将DataFrame的列映射到向量的RDD（我也遇到了问题），以及使用MLlib中的colStats。但我不认为模式是一个选项。

Answer 1

模式的问题和中值的问题差不多。虽然计算起来很容易，但计算却相当昂贵。可以使用sort后跟本地和全局聚合，也可以只使用另一个wordcount和filter：

import numpy as np
np.random.seed(1)

df = sc.parallelize([
    (int(x), ) for x in np.random.randint(50, size=10000)
]).toDF(["x"])

cnts = df.groupBy("x").count()
mode = cnts.join(
    cnts.agg(max("count").alias("max_")), col("count") == col("max_")
).limit(1).select("x")
mode.first()[0]
## 0

无论哪种方式，都可能需要对每列进行完全洗牌。