为深度学习模型提供可接受时间的pandas数据帧的最大合理大小是多少?

2024-06-06 20:08:18 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在使用形状为(37,050,959 ; 24)

print(data.info(memory_usage='deep'))

内存使用量为3.6 GB。然后,我尝试对这些数据应用MLPClassifier,保留2/3的数据(即24700639)用于培训,将它们分成10倍进行交叉验证。然而,这似乎需要很多时间,而且当我使用双精度浮点时,它会导致内存问题(使用简单的精度浮点有助于将内存使用量从近一半减少到一半)。在

我的问题是:在通过Keras或Scikit学习库的神经网络时,一个合理的最大数据帧大小是多少?以前的尺码太大了吗?如果是,有没有比直接删除一些数据更聪明的方法?在

我的笔记本上有6GB的内存。。。我不熟悉Python多处理,能帮上忙吗?在


Tags: 数据内存infodatausage精度交叉浮点