使用toPandas（）方法将spark dataframe转换为Pandas dataframe时会发生什么情况

Question

我有一个spark数据帧，我可以使用

toPandas()

方法在pyspark中可用。在

关于这个我有以下疑问？在

1. 这种转换是否破坏了使用spark的目的 本身（分布式计算）？在
2. 数据集将是巨大的，那么速度和内存呢 问题？在
3. 如果有人也能解释一下，这个到底会发生什么 一行代码，那真的很有帮助。在

谢谢

Answer 1

是的，一旦在spark dataframe上调用toPandas，它将退出分布式系统，新的pandas数据帧将位于集群的驱动节点中。在

如果spark数据帧很大，如果不能放入驱动程序内存中，它将崩溃。在