FR ▾
SNAPE REP RT À la une →
ConfirméCalcul18 nov., 05:02 UTC

China Telecom détaille un modèle Xing 4 de 285 milliards de paramètres préentraîné sur 8 192 puces Huawei Ascend 910C

Architecture diagram of the 285B-parameter Xing 4 mixture-of-experts model
Xingchen AGI Lab, China Telecom (arXiv)

Le rapport technique publie aussi un modèle ouvert de 29 milliards entraîné uniquement sur Ascend avec MindSpore ; il donne des mesures systèmes, pas de duel avec les modèles de pointe américains.

Lire sur Xingchen AGI Lab, China Telecom (arXiv) Partager

Pourquoi c’est important

La plupart des grands modèles ouverts sont entraînés sur des GPU Nvidia ; ce rapport documente un modèle à mélange d'experts de 285 milliards de paramètres préentraîné sur des puces Huawei Ascend 910C avec MindSpore, en collaboration avec Huawei. C'est notable alors que les règles américaines restreignent l'accès des développeurs chinois aux accélérateurs américains. Le rapport porte sur l'ingénierie système plutôt que sur des comparaisons avec les modèles américains de pointe. À suivre : la publication des plus grands modèles Xing 4 et leurs scores indépendants.

Faits clés

  • MoE de 285 milliards de paramètres, 17 milliards actifs par token, contexte de 1M de tokens
  • Préentraîné sur 8 192 cartes Ascend 910C
  • Xing4.0-29B-A4B ouvert : 29 milliards au total, 4 milliards actifs, contexte de 256K
  • Dirigé par Xingchen AGI Lab (China Telecom) avec Huawei et HIT (Shenzhen)
  • Jusqu'à 4,68× de débit de prefill face à une base MLA seule

Sources

À lire aussi : Calcul
Plus de Snape ReportÀ la une →