Rohan Anil, de CoreAuto, entrena un MoE disperso entre dos clústeres a medio mundo de distancia con un enlace de 25 Gbps
Los clústeres tenían tamaños y GPU distintos; la entrada también afirma que el butterfly mixing, que cambia el all-reduce por intercambios por pares entre ocho aprendices, igualó al entrenamiento estándar.
Por qué importa
El entrenamiento de frontera suele suponer un único gran clúster en un mismo lugar, pero la energía, los equipos de red eléctrica y el suelo son los principales límites de los nuevos centros de datos, así que mucha capacidad de GPU está repartida en sitios más pequeños. Esta entrada de posición sostiene que los algoritmos de aprendizaje deben diseñarse para usar juntas esas islas de cómputo y presenta una ejecución real entre dos clústeres muy distintos. Es un blog de una startup, no un artículo revisado. Habrá que ver si escala a más de dos sitios y a modelos mayores.
Datos clave
- Modelo de mezcla de expertos disperso entrenado en dos clústeres
- Clústeres de tamaño y tipo de GPU distintos
- Sitios casi a medio mundo de distancia
- Enlace bidireccional de 25 Gbps
- El butterfly mixing con intercambios por pares entre ocho aprendices igualó al entrenamiento estándar