如果条件为m，则在Pyspark中合并两行

Question

我有一个PySpark数据表，如下所示

shouldMerge | number
true        | 1
true        | 1
true        | 2
false       | 3
false       | 1 

我想将所有shouldMerge为true的列合并起来，然后将数字相加。你知道吗

所以最终的输出看起来像

shouldMerge | number
true        | 4
false       | 3
false       | 1

如何选择shouldMerge==true的所有行，将这些数字相加，并在PySpark中生成新行？你知道吗

编辑：另一个稍微复杂一点的场景，更接近我要解决的问题，我们只聚合正数：

mergeId     | number
1           | 1
2           | 1
1           | 2
-1          | 3
-1          | 1 

shouldMerge | number
1        | 3
2        | 1
-1       | 3
-1       | 1

Answer 1

您必须只筛选出应该合并为true并聚合的行。然后将其与所有剩余行合并。你知道吗

import pyspark.sql.functions as functions
df = sqlContext.createDataFrame([
    (True, 1),
    (True, 1),
    (True, 2),
    (False, 3),
    (False, 1),
], ("shouldMerge", "number"))

false_df = df.filter("shouldMerge = false")
true_df = df.filter("shouldMerge = true")
result = true_df.groupBy("shouldMerge")\
    .agg(functions.sum("number").alias("number"))\
    .unionAll(false_df)




df = sqlContext.createDataFrame([
    (1, 1),
    (2, 1),
    (1, 2),
    (-1, 3),
    (-1, 1),
], ("mergeId", "number"))

merge_condition = df["mergeId"] > -1
remaining = ~merge_condition
grouby_field = "mergeId"

false_df = df.filter(remaining)
true_df = df.filter(merge_condition)
result = true_df.groupBy(grouby_field)\
    .agg(functions.sum("number").alias("number"))\
    .unionAll(false_df)

result.show()