CoreAuto 的 Rohan Anil 报告：通过 25 Gbps 链路在相隔半个地球的两个集群上训练稀疏 MoE 模型
两个集群规模和 GPU 类型均不同；文章还称，用八个学习者之间的成对交换取代 all-reduce 的 butterfly mixing 达到了标准训练的效果。
为何重要
前沿训练通常假设只有一个集中部署的大集群，但电力、电网设备和土地是新数据中心的主要瓶颈，大量 GPU 分散在较小的站点。这篇立场文章主张设计能协同利用这些“算力孤岛”的学习算法，并报告了在两个差异很大的集群上完成的实际训练。这是初创公司的博客，并非同行评审论文。接下来要看该方法能否扩展到两个以上站点和更大的模型。
要点
- 在两个集群上训练稀疏混合专家模型
- 两个集群规模和 GPU 类型不同
- 两地几乎相隔半个地球
- 双向链路 25 Gbps
- 八个学习者成对交换的 butterfly mixing 与标准训练效果相当