大型語言模型（LLM）越來越多地被用作自動評判者，用於評估摘要和對話系統的質量。然而，先前研究已經發現這些評判者存在位置偏好、冗長偏好和風格偏好等偏差。但這些研究大多隻關注評判結果，對評判解釋的可靠性關注不足。本文提出的因果框架旨在回答：LLM評判者是否具備提示不變性？即在保持底層文本不變的情況下，當非證據性提示（如冗長程度、置信度）被擾動時，其排名和解釋是否保持穩定？
作者設計了一套提示干預措施，包括盲評（Blind，隱藏提示）、真相（Truth，提供真實標籤）、翻轉（Flip，顛倒標籤）、安慰劑（Placebo，提供虛假標籤）和事後揭示（Reveal-After，先評後揭示）。同時，他們引入了感知指標來量化結果錨定（outcome anchoring）和理由錨定（rationale anchoring），包括標籤對齊修辭和解釋漂移，並輔以一致性和刻板印象入侵檢查。
為了測試這些偏差，作者利用冗長和置信度提示設計了錨定攻擊（anchoring attacks）。他們比較了兩種緩解方法：結構化思維鏈提示（structured chain-of-thought prompting）和PROOF-BEFORE-PREFERENCE（先證據鎖定，再評分，最後排序）。
實驗基於一個包含1000個摘要的新數據集，這些摘要來自傳統抽取式模型和LLM。結果表明，在標籤和安慰劑擾動下，LLM評判者表現出顯著的提示錨定合理化：它們的評判解釋會隨非證據性提示而改變。相比之下，PROOF-BEFORE-PREFERENCE方法在提升提示不變性方面顯著優於基線。
這項工作揭示了LLM評判者解釋的脆弱性，提示我們需謹慎對待其自動評估結果。未來方向包括將框架擴展到更多提示類型和評估任務，以及開發更魯棒的評判機制。