FR ▾
SNAPE REP RT À la une →
ConfirméFrontière20 nov., 02:52 UTC

Tencent publie les poids ouverts de Hy4, un modèle multimodal à mélange d'experts de 770 milliards de paramètres

File photo of Tencent's Seafront Towers headquarters in Shenzhen, December 2020.
File photo: Charlie fong / Wikimedia Commons (CC BY-SA 4.0)

L'équipe Hunyuan a mis en ligne les poids du modèle phare sur Hugging Face, GitHub, ModelScope et GitCode avec une fiche système ; 49 milliards de paramètres sont actifs par token et le contexte atteint 1 million de tokens.

Lire sur Tencent Hunyuan (Hugging Face) Partager

Pourquoi c’est important

Hy4 a été lancé comme modèle hébergé le 4 novembre ; publier les poids met entre les mains des développeurs l'un des plus grands modèles ouverts d'un laboratoire chinois, et Together AI le sert déjà. Tencent affirme que toute la gamme Hunyuan, de Hy3 preview à Hy4 flash, est désormais ouverte. La fiche système présente des évaluations de cybersécurité et de biosécurité, et IT Home indique que les données de sécurité offensive ont été exclues de l'entraînement. Hugging Face indique une licence « other » : les conditions commerciales sont à vérifier. Prochain test : les évaluations indépendantes.

Faits clés

  • 770 milliards de paramètres, 49 milliards actifs par token
  • Fenêtre de contexte de 1 million de tokens
  • Poids sur Hugging Face, GitHub, ModelScope et GitCode
  • Hy4 lancé le 4 novembre
  • Fiche système : cybersécurité et biosécurité
  • Together AI sert déjà Hy4

Sources

À lire aussi : Frontière
Plus de Snape ReportÀ la une →