我的数据框如下所示
ID,FirstName,LastName
1,Navee,Srikanth
2,,Srikanth
3,Naveen,
现在我的问题是我必须删除第2行,因为名字是空的。
我正在使用下面的pyspark脚本
join_Df1= Name.filter(Name.col(FirstName).isnotnull()).show()
我的错误是
File "D:\0\NameValidation.py", line 13, in <module>
join_Df1= filter(Name.FirstName.isnotnull()).show()
TypeError: 'Column' object is not callable
有谁能帮我解决这个问题吗
你应该这样做
希望这有帮助!
我想你可能需要这个。
这是您在csv文件
my_test.csv
中的输入:代码:
输出:
这就是你想要的!
df[df['FirstName'].notnull()]
输出
df['FirstName'].notnull()
:这将创建一个数据帧
df
,其中df['FirstName'].notnull()
返回True
这是怎么检查的?
df['FirstName'].notnull()
如果FirstName
列的值不为空,则返回True
;否则,如果NaN
存在,则返回False
。您的数据帧名似乎有空值
Null
。以下是一些可供尝试的选项:相关问题 更多 >
编程相关推荐