我正在使用形状为(37,050,959 ; 24)
和
print(data.info(memory_usage='deep'))
内存使用量为3.6 GB。然后,我尝试对这些数据应用MLPClassifier
,保留2/3的数据(即24700639)用于培训,将它们分成10倍进行交叉验证。然而,这似乎需要很多时间,而且当我使用双精度浮点时,它会导致内存问题(使用简单的精度浮点有助于将内存使用量从近一半减少到一半)。在
我的问题是:在通过Keras或Scikit学习库的神经网络时,一个合理的最大数据帧大小是多少?以前的尺码太大了吗?如果是,有没有比直接删除一些数据更聪明的方法?在
我的笔记本上有6GB的内存。。。我不熟悉Python多处理,能帮上忙吗?在
目前没有回答
相关问题 更多 >
编程相关推荐