我花了额外的时间和精力确保PyCharm、python3.7、路径和库都存储在我的硬盘上。我唯一保留在SSD上的是启动pc所需的一切。每次运行此脚本时,我都会注意到至少3 gig的存储空间暂时从SSD中消失,直到执行完成。我为理解这一点所做的研究没有结果。我是否缺少一些基本的硬件/软件/Python知识
我已经写了一个脚本,通过7个文件夹17k图像,调整大小,并转换成numpy数组用于神经网络。我正在使用TensorFlow和Pillow来完成这项任务,诚然,这对我的CPU来说是一个小小的暴力和密集。以下是此任务的基准:
41.1 gigs dropped to 37.8 gigs
shape of training data: (14034, 150, 150, 3)
shape of test data: (3000, 150, 150, 3)
time to completion: 131.68788528442383
只是为了好玩,我用TensorFlow gpu和CUDA运行了这个脚本。我预测这需要更长的时间。这是数据
41.1 gigs dropped to 33.0 gigs
shape of training data: (14034, 150, 150, 3)
shape of test data: (3000, 150, 150, 3)
time to completion: 146.37009191513062
我想可能是内存,你可以看到程序消耗了多少内存。如果内存是10G,硬盘也会占用10G。这是页面内存
相关问题 更多 >
编程相关推荐