L'IndiaAI Mission dévoile trois modèles de fondation indiens : EKA-1, Dhīr 2B et Dhīr 5B
Selon MeitY, EKA-1 est un modèle de 26 milliards de paramètres pour les maths, le code et le raisonnement, tandis que les modèles Dhīr de ZenteiQ tournent hors ligne sur téléphone, avec des poids sous licence Apache 2.0.
Pourquoi c’est important
Ce sont parmi les premières sorties du volet modèles de fondation de l'IndiaAI Mission, qui fournit aux équipes nationales du calcul public subventionné. Les responsables ont mis en avant un déploiement hors ligne et en environnements isolés pour l'État et les entreprises, plutôt qu'une concurrence avec les plus grands modèles de pointe. EKA-1 a été entraîné sur 7 500 milliards de tokens et couvre plus de 100 langues ; les Dhīr ont été entraînés de zéro sur des TPU Google Cloud et gèrent l'anglais et 10 langues indiennes. Ils suivent la sortie de Prism par Sarvam mardi. À suivre : des tests indépendants une fois les poids sur AIKosh.
Faits clés
- EKA-1 : 26 milliards de paramètres, entraîné sur 7 500 milliards de tokens
- EKA-1 gère plus de 100 langues
- Dhīr 2B et 5B sont des modèles à mélange d'experts entraînés sur TPU Google Cloud
- Dhīr gère l'anglais et 10 langues indiennes et tourne hors ligne sur téléphone
- Poids de Dhīr publiés sous Apache 2.0 via AIKosh
- Annoncé par le secrétaire de MeitY S. Krishnan le 3 novembre