检索增强语言模型在回答问题时有两个信息来源:检索到的上下文和模型自身的参数化知识。当上下文不完整或本身有误时,两者就会产生冲突。现有方法通常在设计阶段就固定一条规则来处理这种冲突:要么优先跟随上下文,要么根据上下文对模型输出的影响程度放大其权重,要么直接信任模型的记忆。论文指出,每一条固定规则在某些部署场景中都会自信地给出错误答案。例如,在高噪声的检索环境中,盲目信任上下文会引入错误;而在上下文普遍可靠的场景中,完全依赖模型记忆又会浪费外部信息。
作者建立了一个双源决策论模型,得出一个关键结论:任何固定规则的得分都随可靠上下文所占比例线性变化,而理论上可达到的最优得分是凸函数。因此,只要固定规则不是恰好处于最优状态,就必然会在某些混合比例上被击败。此外,自适应解码所依赖的两源对称分歧信号,并不能告诉系统哪一来源更可能是正确的。要真正解决冲突,系统需要保留两项现有方法没有同时维护的信息:一是对每个来源分别评估得到的证据,二是关于上下文正确频率的先验分布。
为了验证这些主张,研究团队使用了GRACE基准。该基准固定问题,但对知识图谱上下文进行干预,从而分别测量模型知道什么、上下文说了什么以及事实真相是什么。在这个基准上,来自四个方法家族的基线都只能在正确上下文或错误上下文其中一种情况下表现较强,从未在两种情况下同时保持优势。这印证了固定规则的固有局限:它们擅长某一侧,却在另一侧暴露短板。
作者随后构建了具备两项输入的系统。首先,模型将自己的知识表述为“笔记”;接着,一个小型策略网络为每条笔记给出经过校准的置信度;然后,一个阅读器以两种“声音”分别作答;最后,一个选择器在给定先验π的情况下决定采纳答案还是弃权,其中先验π以精确的先验偏移方式施加。当π被设为真实上下文中正确上下文所占比例时,该系统在GRACE的每一种上下文混合比例上都超过了最佳基线,最高领先26个百分点。在Qwen3.5-35B-A3B和Llama-3.1-8B两个骨干模型上,系统总体得分分别为45.3和35.0,而最佳基线仅为29.4和27.5。
在预先注册的ClashEval评测中,该系统相对于同样骨干的CK-PLUG和TCR方法分别高出12分和26分。值得注意的是,当模型本身缺乏相关知识时,这些增益会消失,这正是决策论模型所预测的边界条件:如果没有关于来源的证据,先验再准确也无法凭空创造信息。论文共49页,包含9页正文以及附录和补充材料,配有14幅图,属于人工智能与计算语言学交叉方向的工作。