大多数LLM从众行为无需说话者：测量无说话者基线

一项发表在arXiv上的最新研究对大型语言模型（LLM）的从众行为提出了根本性的质疑。该研究指出，LLM在标准从众基准测试中表现出的行为，很可能并非如先前所认为的那样源于社会压力或对权威的遵从，而是一个被严重忽视的混淆因素在起作用：重复的错误答案本身。

论文作者Yibo Hu及其同事发现，在现有的从众提示（conformity prompts）中，说话者的存在和重复的答案被同时呈现，这使得我们无法区分模型的行为变化究竟是因为社会影响，还是仅仅因为重复出现的文本内容。为了解开这一混淆，他们巧妙地引入了一个“无来源”条件（no-source condition），即移除提示中明确提及的说话者，仅保留重复的错误断言。

实验覆盖了六个开源LLM和七个不同的问答及推理数据集，结果令人震惊：在无来源条件下，初始正确的回答中有高达66.5%被修改为错误答案。相比之下，在简单的重新提问（plain re-ask）条件下，这一修改率仅为10.3%。即使研究者对重复的答案进行改写（paraphrase）或者隐藏选项（在开放式设定中），这一效应依然稳定存在。这说明，重复本身就是一个强大的影响源，与说话者无关。

进一步的实验表明，来源框架（source framing）主要是在调节这个无说话者基线：例如，当提示中提及“专家小组”时，修改率会进一步上升；而使用最小化的人物标签（如“一个人说”）则没有可靠地提高修改率。此外，当模型改变答案时，它们通常表现出高度的自信，简单的校准方法并不能恢复其原始的正确答案。

研究者强调，这并不意味着社会归因（social attribution）完全无关紧要。相反，社会归因仍然是一个重要的因素，但它应该被测量为相对于这个无说话者基线的增量。方法论上的教训非常明确：从众基准测试应该首先测量移除说话者后剩余的效应（即无说话者基线）。如果不这样做，基准测试可能会将重复文本的效应错误地归因于社会影响。

这项研究为AI对齐和鲁棒性测试提供了新的重要视角，提醒我们在设计评估基准时必须仔细控制各种混淆因素，以避免得出误导性的结论。