我是spark的新手,我想在源数据框架下面转换(从JSON文件加载):
+--+-----+-----+
|A |count|major|
+--+-----+-----+
| a| 1| m1|
| a| 1| m2|
| a| 2| m3|
| a| 3| m4|
| b| 4| m1|
| b| 1| m2|
| b| 2| m3|
| c| 3| m1|
| c| 4| m3|
| c| 5| m4|
| d| 6| m1|
| d| 1| m2|
| d| 2| m3|
| d| 3| m4|
| d| 4| m5|
| e| 4| m1|
| e| 5| m2|
| e| 1| m3|
| e| 1| m4|
| e| 1| m5|
+--+-----+-----+
进入下面的结果数据框:
+--+--+--+--+--+--+
|A |m1|m2|m3|m4|m5|
+--+--+--+--+--+--+
| a| 1| 1| 2| 3| 0|
| b| 4| 2| 1| 0| 0|
| c| 3| 0| 4| 5| 0|
| d| 6| 1| 2| 3| 4|
| e| 4| 5| 1| 1| 1|
+--+--+--+--+--+--+
下面是转换规则:
结果数据帧由A + (n major columns)
组成,其中major
列名称由以下指定:
sorted(src_df.map(lambda x: x[2]).distinct().collect())
结果数据帧包含m
行,其中A
列的值由以下人员提供:
sorted(src_df.map(lambda x: x[0]).distinct().collect())
result dataframe中每个主列的值是对应的A
和major上的源dataframe的值
(例如,源数据帧中第1行的计数映射到box
,其中A
是a
,列是m1
)
源数据帧中A
和major
的组合没有重复(请将其视为SQL中两列上的主键)
使用zero323的数据帧
你也可以用
让我们从示例数据开始:
请注意,我已将
count
更改为cnt
。在大多数SQL方言中,Count是一个保留关键字,它不是列名的好选择。至少有两种方法可以重塑此数据:
通过数据帧聚合
RDD上的
groupBy
相关问题 更多 >
编程相关推荐