Pytorch模型的再现性

Question

我在使用PyTorch 1.8进行多GPU训练的视频模型上遇到了以下现象：来自验证集的给定视频有时被预测为a类，有时被预测为B类

环顾四周后，我发现了这个特性torch.use_deterministic_algorithms()。 据我所知，Cuda上的某些操作，例如torch.nn.AvgPool3d没有确定地实现，这意味着必须使用torch.use_deterministic_algorithms(**mode=False**)才能复制。简单的解释是由于多线程。。有道理

为什么像池这样的基本操作不能确定地实现，而不是像torch.nn.Conv2d（其中mode=True有效）这样的其他操作

正常不确定操作的完整列表： https://pytorch.org/docs/stable/generated/torch.use_deterministic_algorithms.html