Balestriero et LeCun prouvent que des JEPA entraînés sur de « bonnes vues » apprennent la même représentation à une rotation près
La preuve du préprint repose sur des hypothèses idéalisées ; il rapporte qu'un JEPA texte de 109M paramètres s'aligne mieux sur des encodeurs d'images que des LLM jusqu'à 72 Md.