大規模言語モデル（LLM）が要約や対話評価の自動審査員として使われる機会が増えるにつれ、その信頼性への関心も高まっている。従来の研究では位置バイアス、冗長性バイアス、文体選好といった偏りが報告されてきたが、多くは最終的な評価結果に注目しており、審査員が示す説明文については十分に検討されていなかった。本論文はそこに踏み込み、LLM審査員が「手がかり不変」であるかどうかを問う。つまり、下位のテキストを固定したまま、根拠にならない手がかりだけを撹乱したとき、順位や説明が安定して保たれるかを見る。
この問いに答えるため、著者らはBlind、Truth、Flip、Placebo、Reveal-Afterという一連の手がかり介入を設計した。これらはテキストの質とは無関係な手がかりを隠したり変えたりすることで、審査員の出力がどう反応するかを観察する。さらに、タイを考慮した指標を導入し、結果アンカリング（順位が外部手がかりに引きずられる現象）と根拠アンカリング（ラベルに沿った修辞や説明のドリフトを含む）を定量化する。加えて、出力の一貫性やステレオタイプ混入のチェックも組み込み、審査行動を多面的に捉える。
攻撃の設計では、冗長性と自信という二種類の手がかりを用いてアンカリング攻撃を構成し、審査員がこうした表層的な信号に惑わされるかを試す。緩和策としては、構造化された連鎖思考プロンプトと、PROOF-BEFORE-PREFERENCEと呼ばれる手順を比較する。後者は「まず証拠を固定し、次に採点し、最後に順位付けする」という流れで、判断の前に根拠を明示させることを狙う。
実験には、従来の抽出手法とLLMが生成した要約を含む1,000件の新規データセットを用いた。その結果、ラベル撹乱やプラセボ撹乱の下で、審査員がかなりの程度の手がかりアンカリング合理化を示すことが分かった。説明が外部手がかりに合わせて後付けで合理化されるのである。一方、PROOF-BEFORE-PREFERENCEはベースラインと比べて手がかり不変性を著しく改善した。この知見は、LLM審査員の信頼性を高めるには評価結果の調整だけでなく、推論と説明の過程を証拠に基づくよう制約する必要があることを示唆している。