Pandas正在阻挡Python当它读大fi

2024-06-09 09:14:26 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在我的8G内存MacBook上读取一个5G文件:pd.read\u csv(文件路径)

我看到内存使用量上升到12g(橙色,然后是红色),然后突然内存使用量下降到6G,然后慢慢上升。。。。我的脚本什么都没有,甚至没有一个退出错误

会发生什么?好像Python完全被堵住了(呼吸机非常安静…)


Tags: 文件csv内存路径脚本read错误橙色
1条回答
网友
1楼 · 发布于 2024-06-09 09:14:26

我相信你正在加载的文件远远超出了你的计算机所能处理的范围。除非您需要一次加载所有数据,否则我会尝试根据您当时需要的加载数据,例如,根据特定条件加载数据,然后在这些特定条件下运行您的程序。这应该有助于两件事。首先,您将能够加载数据并运行程序。其次,您的程序将运行得更快,因为它一次只处理数据的子集

相关问题 更多 >