JA ▾
SNAPE REP RT トップページ →
続報フロンティア11月02日 17:00 UTC

OpenAI、日常タスクの新ベンチマークを発表 GPT-6 Astraは80%、GPT-5.2は49.3%

CNNによると、内部評価は約4000人のChatGPT利用者への調査をもとに作られた。OpenAIはまだテストセットを公開していない。

CNN で読む 共有

なぜ重要か

OpenAIは、昨年GDPvalで測った有償業務から、買い物や部屋探し、家族の世話といった日常の用事へ評価対象を広げた。GPT-5.2の49.3%からGPT-6 Astraの80%への伸びはOpenAI自身の測定で、採点基準は各分野の経験を示した約100人の利用者が作成した。MetaのMuse、OpenAIのDots、AnthropicのClaude Duetが個人向けエージェントで競う中での発表となる。課題セットの公開と第三者による再現が今後の焦点だ。

要点

  • GPT-6 Astra:日常タスク全体で80%
  • GPT-5.2:49.3%
  • ChatGPT利用者約4000人を調査
  • 約100人が課題と採点基準を作成
  • 幼稚園探し:93.1%
  • 糖尿病の献立作り:90.4%

出典

フロンティアの関連記事
Snape Report のほかの記事トップページ →