DE ▾
SNAPE REP RT Titelseite →
BestätigtRechenleistung18. Nov., 05:02 UTC

China Telecom beschreibt ein Xing-4-Modell mit 285 Mrd. Parametern, vortrainiert auf 8.192 Huawei-Ascend-910C-Chips

Architecture diagram of the 285B-parameter Xing 4 mixture-of-experts model
Xingchen AGI Lab, China Telecom (arXiv)

Der Bericht veröffentlicht zudem ein offenes 29-Mrd.-Modell, komplett auf Ascend mit MindSpore trainiert; er liefert Systemmessungen, keine direkten Vergleiche mit US-Spitzenmodellen.

Weiterlesen bei Xingchen AGI Lab, China Telecom (arXiv) Teilen

Warum es wichtig ist

Die meisten großen offenen Modelle werden auf Nvidia-GPUs trainiert; dieser Bericht dokumentiert ein Mixture-of-Experts-Modell mit 285 Mrd. Parametern, vortrainiert auf Huawei-Ascend-910C-Chips mit MindSpore, in Zusammenarbeit mit Huawei. Das ist relevant, da US-Regeln chinesischen Entwicklern den Zugang zu US-Beschleunigern erschweren. Der Bericht konzentriert sich auf Systemtechnik statt auf breite Vergleiche mit US-Spitzenmodellen. Zu beobachten ist, ob die größeren Xing-4-Modelle erscheinen und wie sie in unabhängigen Tests abschneiden.

Die wichtigsten Fakten

  • MoE mit 285 Mrd. Parametern, 17 Mrd. aktiv pro Token, 1M-Token-Kontext
  • Vortrainiert auf 8.192 Ascend-910C-Karten
  • Offen veröffentlicht: Xing4.0-29B-A4B mit 29 Mrd. gesamt, 4 Mrd. aktiv, 256K Kontext
  • Geleitet von Xingchen AGI Lab (China Telecom) mit Huawei und HIT (Shenzhen)
  • Bis zu 4,68-facher Prefill-Durchsatz gegenüber reiner MLA-Basis

Quellen

Mehr zu Rechenleistung
Mehr von Snape ReportTitelseite →