ZH ▾
SNAPE REP RT 头版 →
已证实前沿11月20日 02:52 UTC

腾讯开放 Hy4 权重:7700 亿参数原生多模态 MoE 模型

File photo of Tencent's Seafront Towers headquarters in Shenzhen, December 2020.
File photo: Charlie fong / Wikimedia Commons (CC BY-SA 4.0)

混元团队在 Hugging Face、GitHub、ModelScope 和 GitCode 发布旗舰模型权重及系统卡;每个 token 激活 490 亿参数,上下文长度达 100 万 token。

在 Tencent Hunyuan (Hugging Face) 阅读全文 分享

为何重要

Hy4 于 11 月 4 日以托管模型形式发布;此次开放权重,使开发者能够获得中国实验室规模最大的开放权重模型之一,Together AI 已上线提供服务。腾讯称,从 Hy3 preview 到 Hy4 flash,混元 LLM 系列已全部开源。系统卡披露了网络安全和生物安全评估,IT之家报道称训练数据剔除了攻击性安全内容。Hugging Face 页面将许可证标为 'other',商用条款需自行核实。接下来要看独立基准测试结果。

要点

  • 总参数 7700 亿,每 token 激活 490 亿
  • 上下文窗口 100 万 token
  • 权重发布于 Hugging Face、GitHub、ModelScope 和 GitCode
  • Hy4 于 11 月 4 日首发
  • 系统卡涵盖网络安全与生物安全评估
  • Together AI 已提供 Hy4 服务

来源

更多前沿报道
Snape Report 更多报道头版 →