テンセント、7700億パラメーターのマルチモーダルMoEモデル「Hy4」の重みを公開

Hunyuanチームは旗艦モデルの重みをシステムカードとともにHugging Face、GitHub、ModelScope、GitCodeで公開。トークンごとの活性パラメーターは490億、コンテキストは100万トークン。
なぜ重要か
Hy4は11月4日にホスト型モデルとして公開された。重みの公開により、中国の研究所による最大級のオープンウェイトモデルが開発者の手に渡り、Together AIはすでに提供を始めている。テンセントはHy3 previewからHy4 flashまでHunyuan LLMシリーズすべてを公開したとしている。システムカードにはサイバーセキュリティとバイオセキュリティの評価が記載され、IT之家は攻撃的セキュリティのデータを学習から除いたと伝える。Hugging Faceではライセンスが「other」とされており、商用条件の確認が必要だ。次は独立したベンチマーク結果が試金石となる。
要点
- 総パラメーター7700億、トークンごとの活性490億
- コンテキストは100万トークン
- 重みはHugging Face、GitHub、ModelScope、GitCodeで公開
- Hy4の初公開は11月4日
- システムカードにサイバー・バイオ安全性評価
- Together AIがHy4を提供