SCAP数据列中的一个列（标准化）

Question

我试图用Python规范Selk DeaFrrAm中的列。

我的数据集：

--------------------------
userID|Name|Revenue|No.of.Days|
--------------------------
1      A     12560    45
2      B     2312890  90
.      .       .       .
.      .       .       .
.      .       .       .
--------------------------

在这个数据集中，除了用户id和名称，我必须规范收入和天数。

输出应该如下所示

---

userID|Name|Revenue|No.of.Days|
--------------------------
1      A     0.5     0.5
2      B     0.9       1
.      .       1     0.4
.      .     0.6       .
.      .       .       .
--------------------------

用于计算或规范化每个列中的值的公式是

val = (ei-min)/(max-min)
ei = column value at i th position
min = min value in that column
max = max value in that column

如何使用PySpark简单地完成此操作？

Answer 1

您只需使用.withColumn()

df.withColumn('norm_val', (df.val-min)/(max-min))

这将返回一个列为norm_val的新数据帧。见withColumn文件here。