torchgpipe 0.0.2

什么是gpipe？

gpipe是google brain发布的一个可伸缩的流水线并行库， 它允许有效地训练大型的、消耗内存的模型根据 论文中，gpipe可以通过使用8x设备（tpu）来训练一个25倍大的模型，并且 通过使用4个设备，训练3.5倍的速度

GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism

谷歌通过gpipe训练了5.57亿个参数的变形虫b。这个型号有 在ImageNet分类中达到84.3%的top-1和97.0%的top-5精度 基准（截至2019年5月的最新表现）

链接

• 源代码：https://github.com/kakaobrain/torchgpipe
• 文档：https://torchgpipe.readthedocs.io/
• 原稿：https://arxiv.org/abs/1811.06965