Rohan Anil, da CoreAuto, treina um MoE esparso em dois clusters a meio mundo de distância com link de 25 Gbps
Os clusters tinham tamanhos e GPUs diferentes; o post também relata que o butterfly mixing, que troca o all-reduce por trocas em pares entre oito aprendizes, igualou o treinamento padrão.
Por que importa
O treinamento de fronteira costuma supor um único grande cluster num só lugar, mas energia, equipamentos de rede elétrica e terreno são os principais limites dos novos data centers, e muita capacidade de GPU fica espalhada em locais menores. Este post de posição defende algoritmos de aprendizado feitos para usar juntas essas ilhas de computação e relata uma execução real entre dois clusters muito diferentes. É um blog de startup, não um artigo revisado. Vale ver se a abordagem escala para mais de dois locais e modelos maiores.
Fatos principais
- Modelo de mistura de especialistas esparso treinado em dois clusters
- Clusters com tamanhos e GPUs diferentes
- Locais a quase meio mundo de distância
- Link bidirecional de 25 Gbps
- Butterfly mixing com trocas em pares entre oito aprendizes igualou o treinamento padrão