关于DDP和单卡训练中的批大小与学习率设置的问题

Question

关于在DDP和单卡训练中批量大小和学习率设置的问题

在单卡网络训练时，批量大小设置为8，学习率设置为10e-4。

现在我们把训练方式改成了DDP，也就是在一台机器上用多张显卡（一个节点4个GPU）进行训练，像下面这个方案：

import torch.distributed as dist
dist.init_process_group(backend='nccl', init_method=init_method, world_size=args.nprocs, rank=local_rank)

这个时候，如果批量大小还是8，学习率还是10e-4，DDP的训练时间反而比单卡训练要短。不过，看损失曲线的时候，发现需要的训练轮数明显比单卡要多。

我想问一下，如果在DDP中批量大小不变，学习率是否需要提高？那应该怎么提高呢？

如果我想保持和单卡训练一样的效果，是否应该把批量大小设置为（8 / GPU数量）？

我试过把DDP中的批量大小设置为2，这个是单卡的批量大小除以GPU数量，但目前还没有得出结论。

Answer 1

在DDP（分布式数据并行）中，批量大小是指每个GPU的批量大小。如果你有四个GPU，那么你的实际批量大小就是8*4=32。当你的批量大小增大时，每个训练周期（epoch）中的批次数会减少，因此更新模型参数的次数也会变少。在你的情况中，你需要进行4个训练周期的DDP训练，才能达到与单个GPU训练一个周期相同的参数更新次数。

DDP会在不同的计算节点之间平均梯度，所以你不需要担心调整学习率（如果是将梯度相加，那就需要考虑这个问题了）。