ZH ▾
SNAPE REP RT 头版 →
已证实算力11月18日 05:02 UTC

中国电信披露2850亿参数星辰Xing 4模型,在8192张华为昇腾910C上完成预训练

Architecture diagram of the 285B-parameter Xing 4 mixture-of-experts model
Xingchen AGI Lab, China Telecom (arXiv)

技术报告同时开源一个完全基于昇腾和MindSpore训练的290亿参数模型;报告给出的是系统层面测量,而非与美国前沿模型的直接对比。

在 Xingchen AGI Lab, China Telecom (arXiv) 阅读全文 分享

为何重要

大多数大型开源模型都在英伟达GPU上训练;这份报告记录了一个与华为合作、在华为昇腾910C芯片上用MindSpore框架预训练的2850亿参数混合专家模型。在美国收紧中国开发者获取美国加速器之际,这一点尤为重要。报告侧重系统工程,而非与美国前沿模型的广泛基准对比。后续需关注更大的Xing 4模型是否发布,以及其在独立测试中的表现。

要点

  • 2850亿参数MoE,每个token激活170亿,支持100万token上下文
  • 在8192张昇腾910C上预训练
  • 开源Xing4.0-29B-A4B:总参数290亿,激活40亿,上下文256K
  • 由中国电信星辰AGI实验室牵头,华为和哈工大(深圳)合作
  • 预填充吞吐最高为仅MLA基线的4.68倍

来源

更多算力报道
Snape Report 更多报道头版 →