CoreAutoのRohan Anil氏、地球の反対側近くに離れた2クラスターで25Gbps回線越しに疎なMoEを学習

なぜ重要か

フロンティア学習は通常、1か所に集約した巨大クラスターを前提とするが、新しいデータセンターは電力や送電設備、用地に縛られ、GPU能力の多くは小規模な拠点に散らばっている。この提言記事は、こうした計算資源の「島」をまとめて使える学習アルゴリズムを設計すべきだと主張し、大きく異なる2クラスターでの実際の学習を報告する。スタートアップのブログで、査読論文ではない。2拠点を超え、より大きなモデルに広がるかが注目点だ。