这篇题为《稳定性与可操纵性：评估 LLM 评审员在决策后交互下的鲁棒性》的论文由 Srimonti Dutta 与 Akshata Kishore Moharir 撰写，于 2026 年 6 月 3 日提交至 arXiv（编号 arXiv:2606.05384，分类为 cs.AI，并交叉列入 cs.CL），并已被 ACL 2026 GEM（生成、评估与度量）研讨会接收。论文聚焦于当前基准测试流程中广泛采用的“LLM 作为评审员”（LLM-as-judge）范式，即用自动化评估器对模型输出进行比较和排序。这类流程通常隐含一个假设：判断结果是固定输入下的稳定属性。作者指出，一旦引入交互，这一假设便不再成立。
论文提出并研究了“决策后可操纵性”（post-decision manipulability）这一概念，即在一项初始评估决定已经作出之后，通过与评审模型进行后续对话，评估结果能在多大程度上被改变。研究者在 MT-Bench 和 AlpacaEval 两个基准上开展了受控实验，得到了一组对比鲜明的结论：LLM 评审员在面对重复提问和中性复评时表现出高度稳定性，但在有针对性的决策后质疑面前，其判断会变得相当容易逆转。
为区分不同类型的可逆性，作者设计了两套协议。其一是“反基线挑战协议”（anti-baseline challenge protocol），用于证明稳定的判断可以通过带有动机的交互被推翻；其二是“平衡目标验证协议”（counterbalanced target-validation protocol），用于将单纯的可逆性与带有明确方向的“目标导向操纵”区分开来。通过这两套协议，研究能够更细致地判断评审结果的变化究竟源于一般的易受质疑，还是源于被特定方向所引导。
作者强调，这些逆转具有现实后果：它们会降低评审结果与人类偏好之间的一致性，可能改变基准排行榜的名次，并产生有害的评估变化——即便评审模型在自我报告中对判断表现出很高的置信度。研究还发现，“权威框架”（authority framing）对判断的稳定性破坏尤为明显；而且，修改后的判断往往伴随与原始理由重叠度很低的解释，这暗示其更像事后合理化（post hoc rationalization），而非可靠的错误纠正。
为量化这种交互层面的鲁棒性，论文提出了“评估鲁棒性分数”（Evaluation Robustness Score，ERS），该指标将逆转易感性（reversal susceptibility）与平衡后的方向性效应结合在一起。作者据此认为，决策后交互构成了 LLM 作为评审员时一种独立的失效模式，并呼吁评估协议不应只衡量静态一致性，还应衡量模型在受到质疑时的鲁棒性。这一工作对依赖自动化评审进行模型排名与基准建设的实践具有直接的警示意义。