我们可以在Spark数据帧列中使用Pandas函数吗？如果是，怎么办？

Question

我有一个名为“pd_df”的pandas数据帧。在

我想修改它的列，所以我做如下操作：

    import pandas as pd

    pd_df['notification_dt'] = pd.to_datetime(pd_df['notification_dt'], format="%Y-%m-%d")

它起作用了。在

在同一个数据库中，我创建了一个名为“spark_df”的spark dataframe

我想要同样的功能(pd.to U数据时间)在它的列上执行相同的操作。所以我就这么做了。在

^{pr2}$

依我看，这应该行得通。不管怎样

   spark_df.show()

一分钟后我会遇到以下错误：

Answer 1

所以，把它修好了。在

 udf = UserDefinedFunction(lambda x: pd.to_datetime(x, format="%Y-%m-%d"), TimestampType())

应该是

^{pr2}$

基本上无法将结果转换为TimestampType（）