OpenAI、日常タスクの新ベンチマークを発表 GPT-6 Astraは80%、GPT-5.2は49.3%
CNNによると、内部評価は約4000人のChatGPT利用者への調査をもとに作られた。OpenAIはまだテストセットを公開していない。
なぜ重要か
OpenAIは、昨年GDPvalで測った有償業務から、買い物や部屋探し、家族の世話といった日常の用事へ評価対象を広げた。GPT-5.2の49.3%からGPT-6 Astraの80%への伸びはOpenAI自身の測定で、採点基準は各分野の経験を示した約100人の利用者が作成した。MetaのMuse、OpenAIのDots、AnthropicのClaude Duetが個人向けエージェントで競う中での発表となる。課題セットの公開と第三者による再現が今後の焦点だ。
要点
- GPT-6 Astra:日常タスク全体で80%
- GPT-5.2:49.3%
- ChatGPT利用者約4000人を調査
- 約100人が課題と採点基準を作成
- 幼稚園探し:93.1%
- 糖尿病の献立作り:90.4%