pyspark将数组转换为循环中的字符串

Question

我有一个psypark数据框，它有string、int和array类型的列。我正在尝试对所有列运行for循环，以检查它们是否为任何数组类型的列，并将其转换为字符串

pyspark数据框中的输出应保存int、string列

下面的代码将仅返回从数组转换为字符串的列。如何包含else语句以从dataframe获取非数组类型的其余列

dfstring = df.select([(F.col(c).cast('String')).alias(c) for c in df.columns if dict(df.dtypes)[c] == 'array<string>'])

Answer 1

您可以尝试修改列表，如下所示：

dfstring = df.select([
    (F.col(c).cast('String')).alias(c)
    if 'array' in dict(df.dtypes)[c]
    else F.col(c)
    for c in df.columns 
])