Rohan Anil (CoreAuto) entraîne un MoE clairsemé sur deux clusters distants d'un demi-globe via un lien de 25 Gbit/s
Les clusters différaient par la taille et le type de GPU ; le billet indique aussi que le butterfly mixing, qui remplace l'all-reduce par des échanges par paires entre huit apprenants, a égalé l'entraînement standard.
Pourquoi c’est important
L'entraînement de pointe suppose d'ordinaire un seul grand cluster sur un même site, mais l'énergie, les équipements réseau et le foncier limitent les nouveaux centres de données, si bien que beaucoup de GPU sont dispersés sur de petits sites. Ce billet de position plaide pour des algorithmes conçus pour exploiter ensemble ces îlots de calcul et rapporte un entraînement réel sur deux clusters très différents. C'est un blog de startup, pas un article relu par des pairs. À suivre : le passage à plus de deux sites et à de plus grands modèles.
Faits clés
- Modèle à mélange d'experts clairsemé entraîné sur deux clusters
- Clusters de tailles et de GPU différents
- Sites distants de près d'un demi-tour du monde
- Lien bidirectionnel de 25 Gbit/s
- Le butterfly mixing avec échanges par paires entre huit apprenants a égalé l'entraînement standard