JA ▾
SNAPE REP RT トップページ →
確認済みフロンティア11月20日 02:52 UTC

テンセント、7700億パラメーターのマルチモーダルMoEモデル「Hy4」の重みを公開

File photo of Tencent's Seafront Towers headquarters in Shenzhen, December 2020.
File photo: Charlie fong / Wikimedia Commons (CC BY-SA 4.0)

Hunyuanチームは旗艦モデルの重みをシステムカードとともにHugging Face、GitHub、ModelScope、GitCodeで公開。トークンごとの活性パラメーターは490億、コンテキストは100万トークン。

Tencent Hunyuan (Hugging Face) で読む 共有

なぜ重要か

Hy4は11月4日にホスト型モデルとして公開された。重みの公開により、中国の研究所による最大級のオープンウェイトモデルが開発者の手に渡り、Together AIはすでに提供を始めている。テンセントはHy3 previewからHy4 flashまでHunyuan LLMシリーズすべてを公開したとしている。システムカードにはサイバーセキュリティとバイオセキュリティの評価が記載され、IT之家は攻撃的セキュリティのデータを学習から除いたと伝える。Hugging Faceではライセンスが「other」とされており、商用条件の確認が必要だ。次は独立したベンチマーク結果が試金石となる。

要点

  • 総パラメーター7700億、トークンごとの活性490億
  • コンテキストは100万トークン
  • 重みはHugging Face、GitHub、ModelScope、GitCodeで公開
  • Hy4の初公開は11月4日
  • システムカードにサイバー・バイオ安全性評価
  • Together AIがHy4を提供

出典

フロンティアの関連記事
Snape Report のほかの記事トップページ →