ES ▾
SNAPE REP RT Portada →
ConfirmadoCómputo18 nov, 05:02 UTC

China Telecom detalla un modelo Xing 4 de 285.000 millones de parámetros preentrenado en 8.192 chips Huawei Ascend 910C

Architecture diagram of the 285B-parameter Xing 4 mixture-of-experts model
Xingchen AGI Lab, China Telecom (arXiv)

El informe técnico publica además un modelo abierto de 29.000 millones entrenado solo en Ascend con MindSpore; aporta mediciones de sistemas, no comparativas directas con modelos punteros de EE. UU.

Leer en Xingchen AGI Lab, China Telecom (arXiv) Compartir

Por qué importa

La mayoría de los grandes modelos abiertos se entrenan en GPU de Nvidia; este informe documenta un modelo de mezcla de expertos de 285.000 millones de parámetros preentrenado en chips Huawei Ascend 910C con MindSpore, en colaboración con Huawei. Importa porque las normas de EE. UU. restringen el acceso de los desarrolladores chinos a aceleradores estadounidenses. El informe se centra en ingeniería de sistemas, no en comparativas amplias con modelos punteros de EE. UU. Atención a si se publican los modelos Xing 4 mayores y cómo puntúan en pruebas independientes.

Datos clave

  • MoE de 285.000 millones de parámetros, 17.000 millones activos por token, contexto de 1M tokens
  • Preentrenado en 8.192 tarjetas Ascend 910C
  • Publicado en abierto Xing4.0-29B-A4B: 29.000 millones en total, 4.000 millones activos, contexto de 256K
  • Liderado por Xingchen AGI Lab (China Telecom) con Huawei y HIT (Shenzhen)
  • Hasta 4,68× de rendimiento de prefill frente a una base solo MLA

Fuentes

Más sobre Cómputo
Más de Snape ReportPortada →