人類最後の試験は気晴らしにすぎない

要点

• HLEは、AI安全センターとScale AIが作成した2500以上の専門家レベルの問題からなるベンチマークで、100以上の学問分野をカバーしています。
• 最先端のAIモデルでもHLEの正解率は45～50%にとどまり、過信による誤回答が目立ちます。
• 専門家の約60%がHLEは有用で必要と評価する一方、30%は現実のAI応用から注意をそらすものと批判しています。
• 少数派ですが、HLEの問題自体に誤りがあるとの指摘もあり、AI自身がそれを発見しています。