OpenAI による SWE-Bench Pro の監査は、正確なスコアが必ずしも有効な評価ではないという厄介な事実を明らかにしました。このベンチマークは、より長期的なタスク、より現実的なリポジトリ、トレーニングデータの汚染を減らすことを目的として設計されました。8ヶ月の間に、最先端モデルは731の公開タスクで23.3%から80.3%へとパフォーマンスを向上させました。しかし、OpenAI はこの曲線を単純な進歩と見なすのではなく、より根本的な問いを投げかけました：その結果のうち、どれだけがモデルによるもので、どれだけがテスト自体によるものなのか？
答えは衝撃的でした。OpenAI は公開ベンチマークの約30%が欠陥であると推定しています。エージェント支援による監査では200タスク（27.4%）が、経験豊富なソフトウェアエンジニアによる並行監査では249タスク（34.1%）が欠陥としてマークされました。これらの欠陥には、正しい解答を拒否する、不完全な解答を受け入れる、プロンプトで指定されていない動作を要求するなどの問題が含まれます。
この結果を受けて、OpenAI は SWE-Bench Pro の採用に関する以前の推奨を取り下げました。この出来事は、コーディングベンチマークの根本的な問題を浮き彫りにしています：それらは実行可能な仕様として設計されていますが、実際にはそうではないことが多いのです。OpenAI の発見は、コーディングエージェントがベンチマーク自体を監査し、評価結果の信頼性を確保するための重要なツールになる可能性を示唆しています。今後、より信頼性の高い評価方法の開発が急務となるでしょう。AIモデルの能力を正確に測定するためには、ベンチマークの質自体を向上させる必要があります。OpenAI の監査は、評価指標の有効性を再考する重要な警鐘となりました。