Rohan Anil von CoreAuto trainiert ein sparses MoE über zwei Cluster auf fast entgegengesetzten Erdseiten per 25-Gbit/s-Link
Die Cluster unterschieden sich in Größe und GPU-Typ; zudem habe Butterfly Mixing, das All-Reduce durch paarweisen Austausch zwischen acht Lernern ersetzt, mit Standardtraining gleichgezogen.
Warum es wichtig ist
Frontier-Training setzt meist einen einzigen großen Cluster an einem Ort voraus, doch Strom, Netztechnik und Grundstücke begrenzen neue Rechenzentren, sodass viel GPU-Kapazität auf kleinere Standorte verteilt ist. Dieser Positionsbeitrag fordert Lernalgorithmen, die solche Recheninseln gemeinsam nutzen, und berichtet von einem echten Lauf über zwei sehr unterschiedliche Cluster. Es ist ein Startup-Blog, kein begutachtetes Paper. Abzuwarten ist, ob der Ansatz über zwei Standorte hinaus und auf größere Modelle skaliert.
Die wichtigsten Fakten
- Sparses Mixture-of-Experts-Modell über zwei Cluster trainiert
- Cluster unterschiedlicher Größe und GPU-Typs
- Standorte fast auf entgegengesetzten Seiten der Erde
- Bidirektionale Verbindung mit 25 Gbit/s
- Butterfly Mixing mit paarweisem Austausch zwischen acht Lernern erreichte Standardtraining