大型语言模型正越来越多地被用作自动评审，用于摘要与对话评估等场景。以往研究记录了位置偏好、冗长偏好和风格偏好等多种偏差，但这些工作大多聚焦于评审结果本身，对评审给出的解释关注不足。Riya Tapwal 与另一位作者于 2026 年 5 月 13 日提交至 arXiv 的论文《Faithful or Fabricated? A Causal Framework for Rationalization Bias in LLM Judges》试图填补这一空白，其核心问题是：LLM 评审是否具有线索不变性，即在底层文本保持不变的前提下，当并非证据性的外部线索被扰动时，评审的排序与解释是否依然稳定。
为回答这一问题，作者设计了一套线索干预方法，包括 Blind（盲评）、Truth（真值）、Flip（翻转）、Placebo（安慰剂）和 Reveal-After（事后揭示）五种条件。配合这些干预，论文提出了考虑并列情形的度量指标，用于量化结果锚定与理由锚定，其中涵盖标签对齐式修辞和解释漂移，并辅以一致性与刻板印象侵入检查。研究还利用冗长线索和置信度线索构造了锚定攻击，以检验评审在受到这类非证据信号影响时的表现。
在缓解策略方面，作者比较了两种方法：结构化的思维链提示，以及名为 PROOF-BEFORE-PREFERENCE 的流程，即先锁定证据、再打分、最后排序。实验使用了一个新构建的数据集，包含 1,000 条摘要，来源既有传统抽取式模型，也有大型语言模型。结果显示，在标签扰动和安慰剂扰动下，评审出现了明显的线索锚定式合理化现象；而 PROOF-BEFORE-PREFERENCE 相比基线显著提升了线索不变性。
这项工作的意义在于，它把对 LLM 评审的评估从"结果是否合理"推进到"解释是否忠实"。当评审的理由会随与文本质量无关的线索而改变时，即便最终排序偶然正确，其可信度也会受到质疑。论文因此为自动评审系统的可靠性评估提供了一个因果框架与可操作的度量工具，并指出在流程上先固定证据再作判断，可能是抑制合理化偏差的有效途径。该论文属于计算与语言（cs.CL）方向，编号为 arXiv:2605.23970v1。