China Telecom detalha modelo Xing 4 de 285 bilhões de parâmetros pré-treinado em 8.192 chips Huawei Ascend 910C

O relatório também libera um modelo aberto de 29 bilhões treinado só em Ascend com MindSpore; traz medições de sistemas, não comparações diretas com modelos de ponta dos EUA.
Por que importa
A maioria dos grandes modelos abertos é treinada em GPUs da Nvidia; este relatório documenta um modelo de mistura de especialistas de 285 bilhões de parâmetros pré-treinado em chips Huawei Ascend 910C com MindSpore, em colaboração com a Huawei. Isso importa porque regras dos EUA restringem o acesso de desenvolvedores chineses a aceleradores americanos. O relatório foca em engenharia de sistemas, não em comparações amplas com modelos de ponta dos EUA. Fique de olho em se os modelos Xing 4 maiores serão liberados e como pontuarão em testes independentes.
Fatos principais
- MoE de 285 bilhões de parâmetros, 17 bilhões ativos por token, contexto de 1M tokens
- Pré-treinado em 8.192 placas Ascend 910C
- Aberto: Xing4.0-29B-A4B, 29 bilhões no total, 4 bilhões ativos, contexto de 256K
- Liderado pelo Xingchen AGI Lab (China Telecom) com Huawei e HIT (Shenzhen)
- Até 4,68× de vazão de prefill sobre uma base só MLA