2つのAI審査員がエージェントの回答に0.85のスコアを付けたが、ファイルは一度も開かれていなかった

本記事は、エージェント評価におけるLLM-as-Judgeの根本的な欠陥を明らかにします。審査員は最終回答の一致のみをチェックし、回答が有効な証拠経路に基づいているかどうかは検証しません。ケーススタディでは、エージェントが必要な文書を一度も取得していないにもかかわらず、2つの最先端モデルが0.85のスコアを付け、実際のトレースベースのスコアは0.000でした。記事は、エージェントの行動を評価するための決定的な状態契約を提唱しています。