AI分野では、既知の指標を最適化するのは比較的容易だが、何を最適化すべきかを特定するのは非常に難しい。スコアを上げるには多大なコストがかかるが、今日のAIの真のフロンティアで意味のあるベンチマークを作成するよりも、スコアを上げるためのプレイブックははるかに明確である。言語モデルの独立評価は、その難しさの割に過小評価されている。
現在のベンチマーク業界が直面する核心的なジレンマは、既存のベンチマークに対してモデルを最適化する「ヒルクライミング」は得意だが、AIのフロンティア能力を真に反映するベンチマークを設計する方法論が不足していることだ。その結果、評価は技術の進歩に遅れをとり、実世界でのモデルの知能を効果的に測定できなくなっている。
さらに、独立した評価活動はしばしば軽視され、リソースも不十分である。この問題を解決するには、業界全体で協力し、より科学的なベンチマーク設計原則を確立し、独立評価機関の発展を支援する必要がある。