中国電信、ファーウェイAscend 910C 8192枚で事前学習した2850億パラメータのXing 4を公表

技術報告ではAscendとMindSporeのみで学習した290億パラメータのオープンモデルも公開。示しているのはシステム性能の測定で、米国の最先端モデルとの直接比較ではない。
なぜ重要か
大規模なオープンモデルの多くはNvidiaのGPUで学習されるが、本報告はファーウェイと協力し、Ascend 910CとMindSporeで事前学習した2850億パラメータの混合エキスパートモデルを記録している。米国の規制で中国の開発者による米国製アクセラレーターの入手が難しくなる中で意味を持つ。報告はシステム工学が中心で、米国の最先端モデルとの幅広い比較ではない。大型のXing 4モデルが公開されるか、独立評価での成績が焦点となる。
要点
- 2850億パラメータのMoE、トークンあたり170億が活性、100万トークン文脈
- Ascend 910C 8192枚で事前学習
- Xing4.0-29B-A4Bを公開:総290億、活性40億、256K文脈
- 中国電信の星辰AGIラボが主導、ファーウェイとハルビン工業大学(深圳)が協力
- プリフィル処理量はMLAのみの基準比で最大4.68倍