China Telecom détaille un modèle Xing 4 de 285 milliards de paramètres préentraîné sur 8 192 puces Huawei Ascend 910C

Le rapport technique publie aussi un modèle ouvert de 29 milliards entraîné uniquement sur Ascend avec MindSpore ; il donne des mesures systèmes, pas de duel avec les modèles de pointe américains.
Pourquoi c’est important
La plupart des grands modèles ouverts sont entraînés sur des GPU Nvidia ; ce rapport documente un modèle à mélange d'experts de 285 milliards de paramètres préentraîné sur des puces Huawei Ascend 910C avec MindSpore, en collaboration avec Huawei. C'est notable alors que les règles américaines restreignent l'accès des développeurs chinois aux accélérateurs américains. Le rapport porte sur l'ingénierie système plutôt que sur des comparaisons avec les modèles américains de pointe. À suivre : la publication des plus grands modèles Xing 4 et leurs scores indépendants.
Faits clés
- MoE de 285 milliards de paramètres, 17 milliards actifs par token, contexte de 1M de tokens
- Préentraîné sur 8 192 cartes Ascend 910C
- Xing4.0-29B-A4B ouvert : 29 milliards au total, 4 milliards actifs, contexte de 256K
- Dirigé par Xingchen AGI Lab (China Telecom) avec Huawei et HIT (Shenzhen)
- Jusqu'à 4,68× de débit de prefill face à une base MLA seule