腾讯开放 Hy4 权重:7700 亿参数原生多模态 MoE 模型

混元团队在 Hugging Face、GitHub、ModelScope 和 GitCode 发布旗舰模型权重及系统卡;每个 token 激活 490 亿参数,上下文长度达 100 万 token。
为何重要
Hy4 于 11 月 4 日以托管模型形式发布;此次开放权重,使开发者能够获得中国实验室规模最大的开放权重模型之一,Together AI 已上线提供服务。腾讯称,从 Hy3 preview 到 Hy4 flash,混元 LLM 系列已全部开源。系统卡披露了网络安全和生物安全评估,IT之家报道称训练数据剔除了攻击性安全内容。Hugging Face 页面将许可证标为 'other',商用条款需自行核实。接下来要看独立基准测试结果。
要点
- 总参数 7700 亿,每 token 激活 490 亿
- 上下文窗口 100 万 token
- 权重发布于 Hugging Face、GitHub、ModelScope 和 GitCode
- Hy4 于 11 月 4 日首发
- 系统卡涵盖网络安全与生物安全评估
- Together AI 已提供 Hy4 服务