PyTorch：如何在多个gpu上进行推理？

Question

PyTorch有DataParallel，它在多个gpu之间分割一批。然而，这不是我想要的那种并行性，因为这不能提供任何速度上的好处，除非批大小太大而无法放入GPU的内存中。你知道吗

我想要在多个CPU线程中实时的低延迟评估。你知道吗

所以对于2个GPU，我想交替使用gpu0和gpu1进行推断（都由相应的CPU线程控制）。因此，当新数据到达时，即使我们刚开始一个GPU的工作，所以它被占用，我们可以准备一批免费的GPU。你知道吗

我之所以对低延迟感兴趣是因为我实现了AlphaGo算法的一个变种。你知道吗