グーグルの新ベンチマーク「Physical-Engineering's Last Exam」、全フロンティアモデルが50%未満

なぜ重要か

グーグルによると、フロンティアモデルは多くの学術ベンチマークで90%を超えるが、エージェントが安全で基準に適合した設計を一貫して作れるかを測るテストはなかった。PLEは各エージェントにCAD図面やBIMモデルを含む平均61ファイルの案件フォルダを与え、すべての安全チェックに合格した場合のみ得点を与える。最上位の構成は個別制約の91%を満たしたが、全チェックに合格した成果物は41.3%にとどまった。性能を左右したのはハーネスよりモデルの選択だった。今後はple-bench.comの公開ランキングが注目点となる。