跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

别急着选边站:知识冲突需要的是先验,不是规则

文章摘要

这篇论文指出,检索增强语言模型在上下文与自身知识冲突时,固定的规则(跟随上下文、按偏移放大或信任记忆)在某些部署中必然出错。作者用决策论模型证明固定规则的得分随可靠上下文比例线性变化,而最优得分是凸的,因此任何固定规则在非最优处都会被击败;两源之间的对称分歧也不含谁更正确的信息。解决冲突需要两项现有方法未保留的信息:分别评估每个来源的证据,以及对上下文正确频率的先验。在GRACE基准上,现有四类基线只在正确或错误上下文之一表现好;作者构建的系统用置信度校准的笔记、双声阅读器和带精确先验偏移的选择器,在真实先验下于所有混合比例上超越最佳基线最多26分,总体得分为45.3和35.0(Qwen3.5-35B-A3B与Llama-3.1-8B),而最佳基线为29.4和27.5。在预注册的ClashEval上,它比同骨干的CK-PLUG和TCR分别高12和26分;当模型缺乏相关知识时增益消失,与理论预测一致。

来源arXiv AI作者: Minh Pham Van, Cong Tran
别急着选边站:知识冲突需要的是先验,不是规则
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

检索增强语言模型在回答问题时有两个信息来源:检索到的上下文和模型自身的参数化知识。当上下文不完整或本身有误时,两者就会产生冲突。现有方法通常在设计阶段就固定一条规则来处理这种冲突:要么优先跟随上下文,要么根据上下文对模型输出的影响程度放大其权重,要么直接信任模型的记忆。论文指出,每一条固定规则在某些部署场景中都会自信地给出错误答案。例如,在高噪声的检索环境中,盲目信任上下文会引入错误;而在上下文普遍可靠的场景中,完全依赖模型记忆又会浪费外部信息。

作者建立了一个双源决策论模型,得出一个关键结论:任何固定规则的得分都随可靠上下文所占比例线性变化,而理论上可达到的最优得分是凸函数。因此,只要固定规则不是恰好处于最优状态,就必然会在某些混合比例上被击败。此外,自适应解码所依赖的两源对称分歧信号,并不能告诉系统哪一来源更可能是正确的。要真正解决冲突,系统需要保留两项现有方法没有同时维护的信息:一是对每个来源分别评估得到的证据,二是关于上下文正确频率的先验分布。

为了验证这些主张,研究团队使用了GRACE基准。该基准固定问题,但对知识图谱上下文进行干预,从而分别测量模型知道什么、上下文说了什么以及事实真相是什么。在这个基准上,来自四个方法家族的基线都只能在正确上下文或错误上下文其中一种情况下表现较强,从未在两种情况下同时保持优势。这印证了固定规则的固有局限:它们擅长某一侧,却在另一侧暴露短板。

作者随后构建了具备两项输入的系统。首先,模型将自己的知识表述为“笔记”;接着,一个小型策略网络为每条笔记给出经过校准的置信度;然后,一个阅读器以两种“声音”分别作答;最后,一个选择器在给定先验π的情况下决定采纳答案还是弃权,其中先验π以精确的先验偏移方式施加。当π被设为真实上下文中正确上下文所占比例时,该系统在GRACE的每一种上下文混合比例上都超过了最佳基线,最高领先26个百分点。在Qwen3.5-35B-A3B和Llama-3.1-8B两个骨干模型上,系统总体得分分别为45.3和35.0,而最佳基线仅为29.4和27.5。

在预先注册的ClashEval评测中,该系统相对于同样骨干的CK-PLUG和TCR方法分别高出12分和26分。值得注意的是,当模型本身缺乏相关知识时,这些增益会消失,这正是决策论模型所预测的边界条件:如果没有关于来源的证据,先验再准确也无法凭空创造信息。论文共49页,包含9页正文以及附录和补充材料,配有14幅图,属于人工智能与计算语言学交叉方向的工作。

展开要点与分析

文章情报

工程师进阶

要点

  • 固定规则在上下文正确率变化时必然有失分之处,对称分歧信号无法判断哪一来源更可靠。
  • 需要分开建模每个来源的证据,并显式引入上下文正确频率的先验。
  • 在GRACE所有混合比例上超越最佳基线最多26分,在ClashEval上显著领先CK-PLUG和TCR。
  • 模型缺乏相关知识时增益消失,验证了决策论分析的边界条件。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。

别急着选边站:知识冲突需要的是先验,不是规则 | AI News Hub