JA ▾
SNAPE REP RT トップページ →
確認済み計算資源11月18日 05:02 UTC

中国電信、ファーウェイAscend 910C 8192枚で事前学習した2850億パラメータのXing 4を公表

Architecture diagram of the 285B-parameter Xing 4 mixture-of-experts model
Xingchen AGI Lab, China Telecom (arXiv)

技術報告ではAscendとMindSporeのみで学習した290億パラメータのオープンモデルも公開。示しているのはシステム性能の測定で、米国の最先端モデルとの直接比較ではない。

Xingchen AGI Lab, China Telecom (arXiv) で読む 共有

なぜ重要か

大規模なオープンモデルの多くはNvidiaのGPUで学習されるが、本報告はファーウェイと協力し、Ascend 910CとMindSporeで事前学習した2850億パラメータの混合エキスパートモデルを記録している。米国の規制で中国の開発者による米国製アクセラレーターの入手が難しくなる中で意味を持つ。報告はシステム工学が中心で、米国の最先端モデルとの幅広い比較ではない。大型のXing 4モデルが公開されるか、独立評価での成績が焦点となる。

要点

  • 2850億パラメータのMoE、トークンあたり170億が活性、100万トークン文脈
  • Ascend 910C 8192枚で事前学習
  • Xing4.0-29B-A4Bを公開:総290億、活性40億、256K文脈
  • 中国電信の星辰AGIラボが主導、ファーウェイとハルビン工業大学(深圳)が協力
  • プリフィル処理量はMLAのみの基準比で最大4.68倍

出典

計算資源の関連記事
Snape Report のほかの記事トップページ →