存储CUDA还是CPU张量更好？
我正在做一个项目，想在多个GPU上训练一个PyTorch模型。
我的输入数据是分散在不同的文件里的，每个训练样本都有一个文件。在预处理的时候，我用torch.save方法把这些数据保存成.pt文件。之后，我用DataLoader来加载这些文件，我想把num_workers > 0设置成大于0，以便加快处理速度。不过，似乎num_workers只有在输入数据在CPU上时才能设置成>0。
我的问题是：我应该直接保存CUDA tensors，然后用num_workers=0，还是应该保存CPU tensors，把num_workers > 0设置成大于0，然后再把整个批次移动到GPU上呢？
我不确定哪种方法在多个GPU上训练时会更有效率（时间上）。如果有任何见解或最佳实践，都会非常感谢。
3 个回答
num_workers>0 这个设置可以让你的程序在CPU上同时处理多个任务，但在GPU上不行。一般来说，最好的做法是通过多个进程（使用 num_workers）在CPU上进行数据加载和预处理。
当 DataLoader 把一批数据整理好后，你可以在训练循环中把整批数据转移到GPU上。
如果你想在多个GPU上进行训练，可以使用PyTorch的 分布式数据并行（DDP） 或者数据并行（DP）工具，把模型和数据分配到不同的GPU上。
一般来说，你应该在电脑的中央处理器（CPU）上加载和处理数据，然后在准备好要输入模型之前再把数据转移到图形处理器（GPU）上。
这是因为GPU的内存是有限的。你不想把那些没有被使用的数据放在GPU的内存里。
当然，可能有一些特殊情况，你已经处理好的数据可以直接加载到GPU上。但是这样做需要从硬盘加载到GPU（为了避免把整个数据集都放在GPU内存里），这个过程比较慢。在CPU上处理数据可以让你把数据集加载到内存中，然后再把数据从CPU内存转移到GPU内存，这样速度会快很多。
根据你描述的情况，听起来你在从硬盘加载数据集文件时遇到了瓶颈。在这种情况下，最好是在CPU上加载和处理数据集，然后在你的数据加载器（dataloader）中进行批处理后再转移到GPU。
在你描述的情况下，通常建议把张量（数据）存储在CPU上，设置num_workers > 0，然后在训练时将批量数据移动到GPU上。
数据加载和预处理：
- 当你在
DataLoader中设置num_workers > 0时，它会创建多个工作进程，这些进程可以同时加载和处理数据。 - 这些工作进程通常在CPU上运行，可以高效地从存储（比如硬盘或内存）加载数据，并进行预处理操作。
- 通过把张量存储在CPU上，你可以利用
DataLoader的多进程能力，加快数据加载和预处理的速度。
- 当你在
内存效率：
- 如果把所有张量都存储在GPU内存中，尤其是当你有一个大数据集或GPU内存有限时，很快就会用完可用的GPU内存。
- 通过把张量保存在CPU上，并在训练时只将批量数据移动到GPU，你可以有效利用GPU内存，避免内存不足的问题。
数据传输开销：
- 从CPU移动数据到GPU确实会有一些开销，但这个开销通常比在GPU上的计算时间要小得多。
- 现代GPU有高速的内存接口（比如PCIe），可以快速地在CPU和GPU之间传输数据。
- 将一批数据从CPU传输到GPU所花的时间通常可以忽略不计，相比于训练时的前向和反向计算时间。
灵活性和可扩展性：
- 把张量存储在CPU上，你在数据预处理和增强方面会更灵活。
- 你可以在将数据移动到GPU进行训练之前，在CPU上应用各种转换和数据增强技术。
- 这种方法还使得你更容易将训练扩展到多个GPU，因为你可以在CPU上加载和预处理数据，然后将批量数据分发到不同的GPU。
因此，推荐的方法是把张量存储在CPU上，在DataLoader中设置num_workers > 0，然后在训练时将批量数据移动到GPU。这种方法可以让你在CPU上利用并行的数据加载和预处理，同时有效利用GPU内存进行训练。
不过，我们也要记住，最佳的方法可能会根据你的具体使用情况、数据集大小和可用硬件而有所不同。如果你的GPU内存充足，而数据加载和预处理的开销很大，你可以考虑把张量存储在GPU上，并使用num_workers=0。这需要根据我们的使用情况进行实验。