Dask：数据帧永远占用计算机

Question

我从大约50K行和5列的Pandas数据帧创建了一个Dask数据帧：

ddf = dd.from_pandas(df, npartitions=32)

然后我在dataframe中添加一堆列（~30），并尝试将其转换回Pandas数据帧：

^{pr2}$

{I>使用默认值来指定所有的文档。我在一个64核的EC2实例上，上面的代码行已经花了几分钟还没有结束。。。在

你知道怎么加速吗？或者我做得不对吗？在

谢谢！在

Answer 1

我建议尝试减少线程数量，增加进程数量，以帮助加快速度。在