Scientist World, de Princeton, rend 1 000 articles exécutables ; les scientifiques IA de pointe battent le résultat humain dans 74 % des cas
Le preprint arXiv publie 1 000 environnements vérifiés et 6 400 heures de traces de recherche et affirme que l'entraînement a augmenté de 158 % l'idéation scientifique d'un petit modèle ; les chiffres sont ceux des auteurs, sans relecture par les pairs.
Pourquoi c’est important
La plupart des bancs d'essai d'IA pour la recherche demandent à un modèle de répéter un résultat connu. Scientist World transforme chaque article en environnement, avec une question ouverte et la méthode des auteurs comme référence, puis compare le scientifique IA à ce qu'ont obtenu les humains. Les auteurs indiquent que les systèmes de pointe battent déjà les humains dans 74 % des cas sur les 1 000 premiers environnements. La mesure est déclarée par les auteurs, au stade du preprint, et le pipeline qui construit et vérifie les environnements est lui-même automatisé : réplication indépendante et définition exacte d'une victoire sont à surveiller.
Faits clés
- Preprint arXiv:2611.08478, soumis le 5 nov. 2026
- Auteurs : Taiming Lu, Sachin Konan, Zhuang Liu (Princeton)
- Première version : 1 000 environnements vérifiés
- Les scientifiques IA de pointe battent les chercheurs humains dans 74 % des cas
- 6 400 heures de traces de recherche publiées
- L'entraînement a augmenté de 158 % l'idéation d'un petit modèle