隨著檢索增強生成(RAG)技術的廣泛應用,大型語言模型(LLM)在回答問題時常依賴外部檢索到的資訊。然而,LLM是否能夠根據這些資訊的確定性程度來適當調整其回答,仍是一個亟待解決的問題。一項由Behzad Shayegh等人完成的最新研究對此進行了深入探討。該研究於2026年5月7日提交至arXiv,評估了八種主流LLM在“上下文確定性服從”方面的表現,即模型根據上下文表達的確定性來調整回答的能力。
研究揭示了三個系統性的侷限性。首先,LLM在觀察到不確定的上下文後,往往難以呼叫或回憶起自身的先驗知識,導致回答偏離已知事實。其次,模型常常誤解上下文中所表達的確定性程度,例如將模稜兩可的表述當作確定的事實。最後,對於包含複雜結構的上下文,LLM表現出過度信任,即使其中存在不確定性,也傾向於全盤接受。這些缺陷在醫學、金融等高風險領域可能導致嚴重後果。
為應對這些挑戰,研究人員提出了一種互動策略,包含三個元件:先驗提醒、確定性重新校準和上下文簡化。先驗提醒機制在模型遇到不確定上下文後,透過提示引導模型回想先驗知識;確定性重新校準則調整模型對確定性語言的理解;上下文簡化透過去除複雜結構中的冗餘資訊來減輕模型負擔。實驗表明,這一策略在不修改模型權重的情況下,平均將服從錯誤減少了25%。此外,研究團隊還開發了一套原則性的評估指標體系,並驗證了該策略在多種LLM上的可移植性。
這項工作的意義不僅在於揭示了LLM在不確定性處理上的弱點,更在於提供了一種實用的互動設計思路來增強RAG系統的可靠性。未來的研究可以進一步探索如何將這些策略整合到實際應用系統中,特別是在需要高準確性的醫療診斷和金融決策等場景中。