我使用Spark来执行我加载到Redshift中的数据转换。Redshift不支持NaN值,因此我需要将所有出现的NaN替换为NULL。
我试过这样的方法:
some_table = sql('SELECT * FROM some_table')
some_table = some_table.na.fill(None)
但我犯了以下错误:
ValueError: value should be a float, int, long, string, bool or dict
所以看起来na.fill()
不支持None。我特别需要替换为NULL
,而不是其他值,比如0
。
您可以使用
.replace
函数在一行代码中更改为null
值。我在网上搜索了一下,终于找到了答案。
它不使用
na.fill()
,但实现了相同的结果,所以我很高兴。相关问题 更多 >
编程相关推荐