从巨大的列表/数组(大小>2000万行)创建数据帧?太慢了!有解决办法吗?还是其他选择?

2024-04-26 04:08:33 发布

您现在位置:Python中文网/ 问答频道 /正文

我一直使用熊猫进行数据操作/可视化。到目前为止,我的数据并没有那么大,所以我从来没有出现过明显的计算性能问题。我现在第一次使用更大的数据集(带有>;的列表/数组);2000万行和大量的特性,)和内存是一个瓶颈

由于我是大数据新手,我想问一下是否有什么解决方法,这样我仍然可以使用熊猫,而不是过载内存。否则,有什么建议或替代方案值得一看吗

谢谢


Tags: 数据方法内存gt列表可视化方案数组