随着检索增强生成(RAG)技术的广泛应用,大型语言模型(LLM)在回答问题时常依赖外部检索到的信息。然而,LLM是否能够根据这些信息的确定性程度来适当调整其回答,仍是一个亟待解决的问题。一项由Behzad Shayegh等人完成的最新研究对此进行了深入探讨。该研究于2026年5月7日提交至arXiv,评估了八种主流LLM在“上下文确定性服从”方面的表现,即模型根据上下文表达的确定性来调整回答的能力。
研究揭示了三个系统性的局限性。首先,LLM在观察到不确定的上下文后,往往难以调用或回忆起自身的先验知识,导致回答偏离已知事实。其次,模型常常误解上下文中所表达的确定性程度,例如将模棱两可的表述当作确定的事实。最后,对于包含复杂结构的上下文,LLM表现出过度信任,即使其中存在不确定性,也倾向于全盘接受。这些缺陷在医学、金融等高风险领域可能导致严重后果。
为应对这些挑战,研究人员提出了一种交互策略,包含三个组件:先验提醒、确定性重新校准和上下文简化。先验提醒机制在模型遇到不确定上下文后,通过提示引导模型回想先验知识;确定性重新校准则调整模型对确定性语言的理解;上下文简化通过去除复杂结构中的冗余信息来减轻模型负担。实验表明,这一策略在不修改模型权重的情况下,平均将服从错误减少了25%。此外,研究团队还开发了一套原则性的评估指标体系,并验证了该策略在多种LLM上的可移植性。
这项工作的意义不仅在于揭示了LLM在不确定性处理上的弱点,更在于提供了一种实用的交互设计思路来增强RAG系统的可靠性。未来的研究可以进一步探索如何将这些策略集成到实际应用系统中,特别是在需要高准确性的医疗诊断和金融决策等场景中。