当列文本包含超过10个字时筛选pyspark数据帧

Question

我有一个pyspark.sql.dataframe.DataFrame，我想保留（过滤）我的一列（称为text）有超过10个单词的所有行

我试过了 df = df.filter(len(df.text.split())>10)但这会引发一个异常

我该怎么做才对呢？ 非常感谢

Answer 1

使用来自pyspark.sql.functions的split和size函数：

df.filter(size(split(col('text'), ' ')) > 10).show()