Spark数据帧迭代添加列

Question

我们有一个列，并且需要将列中的每一行迭代到一个数据帧中，下面的方法是好的吗

def func1(fieldname, df_transformed):
    print(fieldname)
    df1 = df_transformed.withColumn(fieldname, mask_udf(df_transformed[fieldname]))
    return df1

df1 = df_transformed
with open(SparkFiles.get('Sensitive1.properties')) as f:
    fieldname = f.read()
    if (fieldname) :
    df1 = func1(fieldname, df1)
df1.show()