「Position: Evaluation Scores Are Perishable Knowledge Claims」というタイトルのポジションペーパーが、2026年7月28日にarXiv（識別子: 2607.26191）に提出された。著者はSankalp Gilda氏ともう1名の計2名。論文は全7ページ・図1点・表1点で構成され、米国サンディエゴで開催されるACL 2026 第5回Generation, Evaluation and Metrics（GEM）ワークショップの論文集（1029–1035ページ）に掲載される。
この論文が問題視するのは、言語モデルの評価手法が複数のシグナルをますます組み合わせるようになっていることだ。自動評価指標、LLM-as-judgeによる採点、人間による評価、ベンチマークスイートの結果などがその例である。これらのシグナルを平均化して集約すると、評価全体の信頼度が、最も信頼性の低いシグナルが単独で支えられる水準を大幅に超えてしまう。著者らはこの現象を「評価における信頼のインフレ」（trust inflation）と呼ぶ。
論文は、評価スコアを恒久的な事実ではなく「知識主張」として扱うべきだと主張する。具体的には、評価スコアに次の3つの性質を付与する必要がある。第一に「形式性」。人間による評価は自動指標よりも強い証拠を提供する。第二に「範囲」。ベンチマーク結果はテストされた分布にのみ当てはまり、普遍的なものではない。第三に「有効期限」。テストデータへの汚染が蓄積し、分布が変化すれば、ベンチマーク結果は失効していく。これら3つの性質によって、評価結果の解釈可能な範囲が明確になる。
集約方法については、思考連鎖分析、可能性論理、代数理論という複数の研究潮流が、単一の悲観パラメータによって制御される作用素族の保守的な端点として「最弱リンク集約」を支持していると論じる。著者らは、エージェント型AIのための評価ハーネスを構築した具体的な経験も踏まえ、評価結果に「形式レベル」「範囲宣言」「有効期限」という明示的なメタデータを付与することを提案する。これにより、評価結論の認識論的な位置づけを透明にできるという。
実際にどの程度の差が生じるのか。著者らは公開されたHELMリーダーボードを使い、10シナリオ・54のフロンティアモデルを対象に検証した。平均スコアで上位5モデルを並べた場合と、最弱リンクスコアで上位5モデルを並べた場合とでは、ランキングが完全に異なることが示された。この結果は、集約方法の選択がモデル評価の結論を大きく左右することを如実に示しており、評価指標の設計やモデル選定に重要な示唆を与える。