FR ▾
SNAPE REP RT À la une →
En coursScience et maths02 nov., 17:51 UTC

Des chercheurs du MIT CSAIL affirment que GPT-6 Astra a corrigé Qwen3.5-0.8B en modifiant 0,016 % de ses poids, sans entraînement

Three-panel figure from the blog: Astra reads a game network's weights, fixes a car policy, and lifts Qwen3.5-0.8B on MATH-500 from 7.9% to 48.1%
Rikiya Takehi et al., MIT CSAIL

Dans un billet de blog présenté comme des résultats très préliminaires, GPT-6 Astra a lu les poids bruts, repéré les boucles de raisonnement de Qwen et les a corrigées à la main : MATH-500 passe de 7,9 % à 48,1 % et IFEval triple ; aucune relecture par les pairs.

Lire sur Sparks of Weight-Space Programming (Takehi et al., MIT CSAIL) Partager

Pourquoi c’est important

Modifier le comportement d'un réseau de neurones exigeait jusqu'ici un entraînement par gradient ou un outil dédié. Ce billet affirme qu'un modèle de pointe généraliste, interrogé en langage naturel, peut lire des poids bruts, deviner la tâche d'un réseau, diagnostiquer un défaut signalé par la fiche de Qwen elle-même et le corriger directement. Les auteurs insistent sur le caractère très préliminaire de résultats publiés sur un blog et non dans un article, mais ont mis les traces complètes sur GitHub. À suivre : les réplications indépendantes, ainsi que le benchmark et l'outil annoncés par l'équipe.

Faits clés

  • GPT-6 Astra a modifié 0,016 % des poids de Qwen3.5-0.8B
  • MATH-500 passe de 7,9 % à 48,1 % à réglages d'échantillonnage identiques
  • IFEval multiplié par 3
  • Ni gradients ni boucles d'entraînement
  • Astra a reconnu le jeu des quatre réseaux entraînés par PPO à partir de leurs poids
  • L'auteur principal, Rikiya Takehi, est affilié au MIT CSAIL

Sources

À lire aussi : Science et maths
Plus de Snape ReportÀ la une →