PT ▾
SNAPE REP RT Primeira página →
ConfirmadoComputação18 de nov., 05:02 UTC

China Telecom detalha modelo Xing 4 de 285 bilhões de parâmetros pré-treinado em 8.192 chips Huawei Ascend 910C

Architecture diagram of the 285B-parameter Xing 4 mixture-of-experts model
Xingchen AGI Lab, China Telecom (arXiv)

O relatório também libera um modelo aberto de 29 bilhões treinado só em Ascend com MindSpore; traz medições de sistemas, não comparações diretas com modelos de ponta dos EUA.

Ler em Xingchen AGI Lab, China Telecom (arXiv) Compartilhar

Por que importa

A maioria dos grandes modelos abertos é treinada em GPUs da Nvidia; este relatório documenta um modelo de mistura de especialistas de 285 bilhões de parâmetros pré-treinado em chips Huawei Ascend 910C com MindSpore, em colaboração com a Huawei. Isso importa porque regras dos EUA restringem o acesso de desenvolvedores chineses a aceleradores americanos. O relatório foca em engenharia de sistemas, não em comparações amplas com modelos de ponta dos EUA. Fique de olho em se os modelos Xing 4 maiores serão liberados e como pontuarão em testes independentes.

Fatos principais

  • MoE de 285 bilhões de parâmetros, 17 bilhões ativos por token, contexto de 1M tokens
  • Pré-treinado em 8.192 placas Ascend 910C
  • Aberto: Xing4.0-29B-A4B, 29 bilhões no total, 4 bilhões ativos, contexto de 256K
  • Liderado pelo Xingchen AGI Lab (China Telecom) com Huawei e HIT (Shenzhen)
  • Até 4,68× de vazão de prefill sobre uma base só MLA

Fontes

Mais sobre Computação
Mais do Snape ReportPrimeira página →