一幅图像的神经网络推理：为什么GPU利用率不是100%？

Question

首先：这个问题与神经网络推理有关，而不是训练。你知道吗

我发现，当在GPU（如P100）上反复对一个只包含一幅图像的训练神经网络进行推理时，Tensorflow的计算能力利用率不是100%，而是70%左右。如果图像不必传输到GPU，也会出现这种情况。因此，这个问题必须与并行计算中的约束联系起来。我最好的猜测是：

• Tensorflow只能在一定程度上利用GPU的并行能力。（同样，与TensorRT模型相同的模型的更高利用率也表明了这一点）。在这种情况下，问题是：这是什么原因？

• 具有多个后续层的固有神经网络结构避免了更高的使用率。因此，问题不在于框架的开销，而在于神经网络的总体设计。在这种情况下，问题是：有什么限制？

• 以上两者结合在一起。

谢谢你对这个问题的看法！你知道吗

Answer 1

当你对一张图像进行神经网络预测时，为什么你期望GPU的利用率达到100%呢？你知道吗

GPU利用率是每时间单位（例如1秒）。这意味着，当神经元网络算法在此时间单位之前完成时（例如在0.5s内），那么GPU的剩余时间可能被其他程序使用，或者根本不被使用。如果GPU没有被任何其他程序使用，那么你也不会达到100%。你知道吗