估计tensorflow mod的内存需求

Question

如何估计我的tensorflow模型的内存需求？下面应该给出一个比较准确的表述吗？在

size = 0
for variable in tf.all_variables():
    size += int(np.prod(variable.get_shape()))

print(size)

size应该是变量的数目。那么size * dtype应该是内存需求的估计值吗？在

Answer 1

不，你还需要考虑你的其他张量（例如tf.placeholder和tf.constant），你还应该为渐变留出空间，因为我相信在向前传球的过程中会缓存一堆值，这样backprop就不会变得太慢。在