我想在pyspark中捕获show的结果,类似于here和{a2}。我无法用pyspark找到解决方案,只有scala。在
df.show()
#+----+-------+
#| age| name|
#+----+-------+
#|null|Michael|
#| 30| Andy|
#| 19| Justin|
#+----+-------+
最终目的是将其作为字符串捕获到mylogger.info
我尝试了logger.info(df.show())
,它只会显示在控制台上。在
Tags:
您可以使用与post You linkedCapturing the result of explain() in pyspark中所示相同的方法来构建helper函数。只需检查source code for ^{} 并观察它正在调用
self._jdf.showString()
。在答案取决于您使用的spark版本,因为
show()
的参数数量随着时间的推移而改变。在Spark 2.3及以上版本
在版本2.3中,添加了
vertical
参数。在Spark 1.5至2.2版
从版本1.5开始,添加了
^{pr2}$truncate
参数。在Spark 1.3至1.4版
{cd6}是在第一个版本中引入的。在
现在使用helper函数如下:
或者在你的情况下:
相关问题 更多 >
编程相关推荐