使用groupby或aggregate在RDD或DataFrame中合并每个事务中的项来执行FPgrowth

Question

我想把这个结构的数据帧改成第二个。在

+---+-----+-----+
| id|order|items|
+---+-----+-----+
|  0|    a|    1|
|  1|    a|    2|
|  2|    a|    5|
|  3|    b|    1|
|  4|    b|    2|
|  5|    b|    3|
|  6|    b|    5|
|  7|    c|    1|
|  8|    c|    2|
+---+-----+-----+

将其更改为：

^{pr2}$

在PySpark里怎么做？在

Answer 1

在您的案例中，使用collect_list函数的Groupby顺序和带有{}的唯一id应该可以工作

from pyspark.sql import functions as F
df.groupBy("order").agg(F.collect_list("items"))
   .withColumn("id", F.row_number().over(Window.orderBy("order")))

希望这有帮助！在