China Telecom beschreibt ein Xing-4-Modell mit 285 Mrd. Parametern, vortrainiert auf 8.192 Huawei-Ascend-910C-Chips

Der Bericht veröffentlicht zudem ein offenes 29-Mrd.-Modell, komplett auf Ascend mit MindSpore trainiert; er liefert Systemmessungen, keine direkten Vergleiche mit US-Spitzenmodellen.
Warum es wichtig ist
Die meisten großen offenen Modelle werden auf Nvidia-GPUs trainiert; dieser Bericht dokumentiert ein Mixture-of-Experts-Modell mit 285 Mrd. Parametern, vortrainiert auf Huawei-Ascend-910C-Chips mit MindSpore, in Zusammenarbeit mit Huawei. Das ist relevant, da US-Regeln chinesischen Entwicklern den Zugang zu US-Beschleunigern erschweren. Der Bericht konzentriert sich auf Systemtechnik statt auf breite Vergleiche mit US-Spitzenmodellen. Zu beobachten ist, ob die größeren Xing-4-Modelle erscheinen und wie sie in unabhängigen Tests abschneiden.
Die wichtigsten Fakten
- MoE mit 285 Mrd. Parametern, 17 Mrd. aktiv pro Token, 1M-Token-Kontext
- Vortrainiert auf 8.192 Ascend-910C-Karten
- Offen veröffentlicht: Xing4.0-29B-A4B mit 29 Mrd. gesamt, 4 Mrd. aktiv, 256K Kontext
- Geleitet von Xingchen AGI Lab (China Telecom) mit Huawei und HIT (Shenzhen)
- Bis zu 4,68-facher Prefill-Durchsatz gegenüber reiner MLA-Basis