如何在pysp中将Dataframe列从String类型更改为Double类型

Question

我有一个列为字符串的数据帧。 我想在PySpark中将列类型改为Double类型。

我是这样做的：

toDoublefunc = UserDefinedFunction(lambda x: x,DoubleType())
changedTypedf = joindf.withColumn("label",toDoublefunc(joindf['show']))

只是想知道，这是在跑步的时候做的正确方法吗 通过逻辑回归，我得到了一些错误，所以我想， 这就是麻烦的原因吗。

Answer 1

给出的答案足以解决这个问题，但我想分享另一种可能引入新版本Spark（我不确定）的方法，因此给出的答案没有抓住它。

我们可以使用col("colum_name")关键字访问spark语句中的列：

from pyspark.sql.functions import col , column
changedTypedf = joindf.withColumn("show", col("show").cast("double"))