LLMを審査員として用いる評価は、モデル出力を自動評価器で比較・順位付けするベンチマークパイプラインで広く使われている。これらのパイプラインは通常、判断が固定入力の安定した属性であると仮定している。しかし、新たな研究はこの仮定がインタラクション下では成立しないことを示した。著者らは「意思決定後可操作性」を定義し、初期決定がなされた後、審査員との後続会話を通じて評価結果がどの程度変更され得るかを調べた。
MT-BenchとAlpacaEvalでの制御実験の結果、LLM審査員は繰り返しや中立的な再評価の下では高度に安定しているが、標的型の意思決定後チャレンジの下では大幅に可逆的になることがわかった。反ベースライン・チャレンジ・プロトコルは、安定した判断が動機付けられたインタラクションを通じて覆されることを示し、反平衡ターゲット検証プロトコルはこの可逆性を純粋な目標指向ステアリングから分離する。
これらの反転は実際的な影響を持つ。人間の嗜好との一致を低下させ、ベンチマーク順位を変動させ、審査員が高い自己申告信頼度を示しているにもかかわらず有害な評価変化を生み出す。権威付けのフレーミングは特に不安定化を招きやすく、修正された判断はしばしば元の理由との重複が少ない正当化を伴う。これは信頼できる誤り訂正ではなく、事後合理化を示唆している。
インタラクション・ロバスト性を定量化するため、著者らは評価ロバスト性スコア（ERS）を導入した。ERSは反転感受性と反平衡方向効果を組み合わせ、審査員がチャレンジに対して判断の一貫性を保つ能力を総合的に指標化する。
本研究は、意思決定後のインタラクションをLLM審査員評価の独自の故障モードとして特定する。評価プロトコルは静的一致だけでなく、チャレンジ下でのロバスト性も測定すべきであると提言している。本論文はACL 2026 GEM（生成・評価・計量）ワークショップに採択され、著者はSrimonti DuttaとAkshata Kishore Moharirである。