BalestrieroとLeCun、異なるモダリティで学習したJEPAが回転を除き同じ表現を学ぶことを証明

このarXiv論文は、明示した仮定の下でプラトン的表現仮説を定理にし、1億900万パラメータのテキストJEPAが、試した最大720億パラメータまでのどの言語モデルよりもDINOv2やCLIPの画像エンコーダーとよく整合すると報告。査読前だ。