如何强制Tensorflow对tf.data使用tcmallocminimal4?

2024-06-10 18:40:59 发布

您现在位置:Python中文网/ 问答频道 /正文

我的答案是:https://stackoverflow.com/a/66971031/3864842

从本质上讲,我使用tf.data出现了内存泄漏,而对许多人来说似乎有效的解决方案是使用libtcmalloc_minimal.so.4而不是系统的内存分配器

我已安装了库并按如下方式使用它:

sudo apt-get install libtcmalloc-minimal4
LD_PRELOAD="/lib/x86_64-linux-gnu/libtcmalloc_minimal.so.4" python main.py ...

安装完成后的第一次运行完美无瑕。但在重新启动脚本后,我再次经历了泄漏。(相同的shell、相同的脚本、相同的命令)

我做错什么了吗?我是否可以检查Tensorflow/Python是否实际使用了该库

到目前为止,它在所有测试运行中的使用率不到10%(约50)


Tags: 内存答案https脚本comdatatf系统