跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

语言模型在RAG中表现出从众偏差:当多数检索文档支持被污染主张时

文章摘要

一项基于SciFact数据集的实验发现,Gemma-3-12b在检索增强生成(RAG)中,当六份互相一致的污染文档占据多数时,检测误导性主张的能力显著下降,从少数条件下的25%降至多数条件下的10%,表现出类似人类从众行为的偏差。

来源arXiv Computational Linguistics作者: Mehrdad Ghassabi, Audrina Ebrahimi, Zahra Zojaji, Amin Milani Fard
语言模型在RAG中表现出从众偏差:当多数检索文档支持被污染主张时
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

检索增强生成(RAG)系统在回答问题时,会先从外部文档库中检索相关材料,再让语言模型基于这些材料生成答案。这一机制本应提升事实准确性,但最新研究提示,它也可能成为错误信息传播的通道。一篇提交至 arXiv 的论文《Language Models Show Conformity Bias in RAG: When the Majority Endorses a Poisoned Claim》研究了这一问题,作者为 Mehrdad Ghassabi 等四人,论文编号 arXiv:2610.41012,属于计算与语言(cs.CL)方向,于 2026 年 10 月 29 日提交,全文约 22 KB,目前以预印本形式发布,DOI 注册仍处于待定状态。

研究的核心问题是:当检索结果中被注入的“有毒”文档数量增加、并且这些文档彼此一致地支持同一个错误主张时,模型识别虚假信息的能力是否会下降。换言之,模型是否表现出类似人类的“从众偏差”——在多数派一致发声时,放弃自己的判断而接受多数意见。

实验设计相对简洁但针对性强。作者从 SciFact 数据集中随机抽取了 200 个问题,随机种子为 38,以保证可复现。随后构造了两种检索上下文进行对比:第一种是“少数派条件”,即上下文中包含 1 篇被投毒的文档和 6 篇健康文档;第二种是“多数派条件”,即 6 篇互相一致的有毒文档加上 1 篇健康文档。两种条件下,有毒信息在数量上恰好形成镜像对比,从而可以单独观察“数量优势”对模型判断的影响。

实验对象为 Gemma-3-12b。结果显示,在少数派条件下,模型对投毒主张的检出率为 25%,即 200 个问题中有 50 个被成功识别为虚假;而在多数派条件下,检出率下降到 10%,仅剩 20 个问题被识别出来。也就是说,当有毒文档在检索证据中占据主导地位时,模型的误信息检测能力出现了明显滑坡。

作者进一步分析了两种条件下结果不一致的样本。在 38 个结果发生变化的问题中,有 34 个是从“检出”变为“未检出”,只有 4 个朝相反方向变化。精确 McNemar 检验给出的 p 值为 6.04e-7,说明这种方向性变化极不可能由随机波动造成。这一统计结果构成了论文最主要的实证支撑。

作者将这一模式解释为对“互相一致的有毒文档多数派”的从众式反应,并认为这是 RAG 场景下从众偏差的初步证据:当被投毒的主张在检索证据中占据数量优势时,Gemma-3-12b 显著更难以识别它们。

需要指出的是,该研究的结论有其边界。首先,实验仅覆盖单一模型 Gemma-3-12b,尚不能推广到其他语言模型或更大规模的系统;其次,数据来源限定为 SciFact 的 200 个问题,属于科学事实核查领域,其他领域是否呈现同样模式仍待验证;再次,论文自称提供的是“初步证据”,意味着这一现象值得更大规模、更多模型、更多数据集的后续研究加以确认。此外,该预印本的 DOI 尚未完成注册,正式发表状态仍待观察。

从实践角度看,这项研究对 RAG 系统的部署具有直接提示意义:检索结果的数量分布本身可能影响模型的事实判断,攻击者若能向检索库注入多篇彼此一致的错误文档,就可能系统性地压低模型的误信息检出率。因此,在评估 RAG 安全性时,仅关注单篇文档层面的投毒可能不够,还需要考虑多数派一致性带来的放大效应。

展开要点与分析

文章情报

工程师进阶

要点

  • 研究使用SciFact中200个随机问题,对比“一份污染+六份健康”与“六份一致污染+一份健康”两种检索上下文。
  • Gemma-3-12b的污染检测率从少数条件下的25%(50/200)下降到多数条件下的10%(20/200)。
  • 在38个结果发生变化的问题中,34个由“检测到”变为“未检测到”,仅4个反向变化(McNemar检验 p=6.04e-7)。
  • 这是RAG场景中从众偏差的初步证据:当污染主张主导检索证据时,模型更倾向于接受而非质疑。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。