ザ・シークエンス・オピニオン #860：すべての企業の最後の試験——実用的なAI評価についての考察

本日のエッセイでは、LayerLensにおけるAI評価の考え方の中心となっているアイデアを探りたい。これはLayerLensについてのエッセイではなく、単純でますます避けられないテーゼについてのものである。すなわち、評価は計算能力、データ、モデルと並んで、現代AIの第4の柱になりつつある。AIシステムがチャットボットからエージェントへ、デモからプロダクションワークフローへと移行するにつれて、各企業内のすべてのエージェントが実行するすべての意味のあるタスクには、独自の評価層が必要になる。これは汎用的なベンチマークでもリーダーボード劇場でもなく、実用的で動的で企業固有の試験であり、AIシステムが実際の仕事に耐えられるかを測定する。私はこのアイデアを「Every Company’s Last eXam（すべての企業の最後の試験）」と呼んでいる。

「Humanity’s Last Exam」は非常に特殊な種類の成果物である。それは、古い成績表が機能しなくなったときに構築されるものである。その背後にある核心的な観察は単純だ。MMLUのようなおなじみのベンチマークは、フロンティアシステムがリーダーを明確に分けるには簡単すぎるため、研究者は人間の知識の最前線でより困難で広範なマルチモーダルテストを組み立て、エラーや検索で容易に回答可能な質問を除去した後、2500問に確定した。そして、ほぼ即座に、そのベンチマーク自体が第二の教訓を与えた。「最後の試験」でさえメンテナンスが必要だということだ。その後発表されたHLE-Verifiedでは、ノイズの多い項目や欠陥のある回答が比較を著しく歪める可能性があり、体系的な検証によって測定精度が平均で7～10パーセントポイント変動することが示された。言い換えれば、ベンチマークは石の碑文ではなく、インフラだったのである。

これこそ、エンタープライズAIが向かう先の適切なアナロジーである。現在、すべての企業は自社の最後の試験を必要としている。それは、自社のエージェントが実行すべき最も価値が高く、最もリスクが高く、最もコンテキストに依存する作業を捉える、プライベートで生きた評価スイートである。モデルの汎用IQテストではなく、別の公開リーダーボードでもない。むしろ、認知に関する企業固有のCIシステムのようなものだ。公開ベンチマークは依然として重要だが（CPUにとってのSPEC、ビジョンにとってのImageNetと同様に）、プロダクションの真実は、独自のワークフロー、プライベートドキュメント、内部ポリシー、例外的なケース、そして論文の付録には決して載らないすべての鋭いエッジへと下流に移行している。それが、トップのフロンティアラボが現在、タスク固有の評価、プロダクション派生データセット、継続的なメンテナンス、そして雰囲気ベースのモデル選択ではなく成功の明確な定義を重視する理由である。

第4の柱

続きを読む