通过隐含意义识别与取消评估大语言模型中的交际信念更新
本研究创建首个专家标注的隐含意义取消数据集，评估大语言模型（LLM）理解未言明信念及信念更新的能力。实验表明，LLM在自然场景中理解信念更新显著落后于人类，成功部分依赖先验信念，失败与更新类型和形式相关。当前LLM尚未达到人类水平的未言明信念理解能力。
来源arXiv Computational Linguistics作者: Cesare Spinoso-Di Piano, Verna Dankers, Marius Mosbach, Jackie Chi Kit Cheung
人类语言交流中充满了未言明的信念及其动态更新，这些隐含信息对于大语言模型（LLM）与用户之间的有效沟通至关重要。然而，LLM能否真正理解这些隐含的信念变化？2026年7月27日提交的一篇新论文通过隐含意义识别与取消实验，对当前主流LLM的能力进行了系统评估。该研究由Cesare Spinoso-Di Piano等四位作者完成，相关代码和数据已在GitHub开源。
隐含意义（implicature）是指话语中隐含而非直接陈述的意义，而隐含意义取消（implicature cancellation）则是一种语用现象，即话语的隐含含义被弱化或否定。研究者创建了首个专家标注的隐含意义取消数据集，并通过众包方式收集人类对隐含意义及其取消的判断。实验结果显示，LLM在理解信念更新方面明显落后于人类，尤其是在更自然、更复杂的对话场景中。
进一步的对照实验揭示了有趣的机制：LLM在某些情况下成功识别信念更新，这可能部分归因于它们对先验信念的依赖；而失败案例则与信念更新的类型和表现形式密切相关。例如，某些类型的信念更新（如取消型）对LLM更具挑战性。研究团队指出，当前LLM尚未达到人类水平的未言明信念理解能力，这为未来LLM的语用能力提升指明了方向。论文还讨论了数据集的构建细节、实验设计以及潜在的应用影响。