跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

BayesBench:多轮证据累积下的LLM信念轨迹评估

文章摘要

研究人员提出BayesBench,一套模拟环境,用于评估大语言模型在多轮对话中更新信念时是否接近理性贝叶斯推理者。在七种模型(3B至70B)上的测试显示,规模扩展能改善潜在推断,但这种优势并不能稳定地迁移到下游预测。

来源arXiv AI作者: Ankur Samanta, Akshayaa Magesh, Tal Lancewicki, Ayush Jain, Youliang Yu, Paul Sajda, Kaveh Hassani, Aditya Modi, Daniel R. Jiang, Yonathan Efroni
BayesBench:多轮证据累积下的LLM信念轨迹评估
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

大型语言模型(LLM)通常部署在多轮对话场景中,每一轮都会带来新的证据,这些证据本应降低模型对其所处环境的认知不确定性。要在这种情境下理性行动,模型需要推断支配环境的未观测变量,并在证据不断累积的过程中更新对这些变量的信念。然而,现有的大多数评测只对模型在单轮格式下的最终轮答案打分,因而完全没有考察这一信念更新过程。Ankur Samanta 等十位作者提交的论文《BayesBench: Evaluating LLM Belief Trajectories Under Multi-Turn Evidence Accumulation》正是针对这一空白展开研究。该论文于2026年6月29日提交至 arXiv,属于人工智能(cs.AI)分类,编号为 arXiv:2606.30850,DOI 为 https://doi.org/10.48550/arXiv.2606.30850,全文约852 KB。

论文提出的核心问题是:在多轮情境下,LLM 的信念更新与一个理性的贝叶斯推理者究竟有多接近?为回答这一问题,作者构建了 BayesBench——一套模拟环境测试集,通过三个逐步复杂的任务来探查模型的信念更新轨迹。第一个任务是贝叶斯估计,模型需要从序列化证据中推断一个未知参数;第二个任务是贝叶斯预测,模型需要把对某个潜变量已推断出的信念转化为对结果的预测;第三个任务是潜变量框架下的贝叶斯预测,观测数据经过用户人设(persona)框架的过滤,要求模型对潜状态与人设进行联合推断。这三个任务层层递进,既考察单纯的概率推断能力,也考察将推断结果用于下游预测的能力。

研究团队在七个参数规模从3B到70B的 LLM 上进行了评测。结果显示,随着模型规模扩大,潜变量推断和证据累积能力有所提升,其信念更新偶尔能够与贝叶斯后验相匹配。然而,这些收益并不能可靠地迁移到下游预测任务中,从而暴露出一处关键落差:模型能够推断出潜结构,却未必能把这种推断用于理性地更新关于目标结果的信念。这一发现意味着,仅仅扩大模型规模并不足以保证多轮交互中的理性信念更新,未来的评测与训练需要更关注从推断到决策的完整链条。该论文的发布也为多轮对话中的模型评估提供了新的基准工具与研究方向。

展开要点与分析

文章情报

投资人进阶

要点

  • BayesBench包含三个渐次复杂的任务:贝叶斯估计、贝叶斯预测以及潜在框架下的贝叶斯预测
  • 现有评估大多只对模型最终轮回答打分,忽略了多轮证据累积过程
  • 模型规模扩展改善了潜在状态推断,但推断能力与最终预测表现之间存在明显差距

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。