檢索增強語言模型在回答問題時有兩個資訊來源:檢索到的上下文和模型自身的引數化知識。當上下文不完整或本身有誤時,兩者就會產生衝突。現有方法通常在設計階段就固定一條規則來處理這種衝突:要麼優先跟隨上下文,要麼根據上下文對模型輸出的影響程度放大其權重,要麼直接信任模型的記憶。論文指出,每一條固定規則在某些部署場景中都會自信地給出錯誤答案。例如,在高噪聲的檢索環境中,盲目信任上下文會引入錯誤;而在上下文普遍可靠的場景中,完全依賴模型記憶又會浪費外部資訊。
作者建立了一個雙源決策論模型,得出一個關鍵結論:任何固定規則的得分都隨可靠上下文所佔比例線性變化,而理論上可達到的最優得分是凸函式。因此,只要固定規則不是恰好處於最優狀態,就必然會在某些混合比例上被擊敗。此外,自適應解碼所依賴的兩源對稱分歧訊號,並不能告訴系統哪一來源更可能是正確的。要真正解決衝突,系統需要保留兩項現有方法沒有同時維護的資訊:一是對每個來源分別評估得到的證據,二是關於上下文正確頻率的先驗分佈。
為了驗證這些主張,研究團隊使用了GRACE基準。該基準固定問題,但對知識圖譜上下文進行干預,從而分別測量模型知道什麼、上下文說了什麼以及事實真相是什麼。在這個基準上,來自四個方法家族的基線都只能在正確上下文或錯誤上下文其中一種情況下表現較強,從未在兩種情況下同時保持優勢。這印證了固定規則的固有侷限:它們擅長某一側,卻在另一側暴露短板。
作者隨後構建了具備兩項輸入的系統。首先,模型將自己的知識表述為“筆記”;接著,一個小型策略網路為每條筆記給出經過校準的置信度;然後,一個閱讀器以兩種“聲音”分別作答;最後,一個選擇器在給定先驗π的情況下決定採納答案還是棄權,其中先驗π以精確的先驗偏移方式施加。當π被設為真實上下文中正確上下文所佔比例時,該系統在GRACE的每一種上下文混合比例上都超過了最佳基線,最高領先26個百分點。在Qwen3.5-35B-A3B和Llama-3.1-8B兩個骨幹模型上,系統總體得分分別為45.3和35.0,而最佳基線僅為29.4和27.5。
在預先註冊的ClashEval評測中,該系統相對於同樣骨幹的CK-PLUG和TCR方法分別高出12分和26分。值得注意的是,當模型本身缺乏相關知識時,這些增益會消失,這正是決策論模型所預測的邊界條件:如果沒有關於來源的證據,先驗再準確也無法憑空創造資訊。論文共49頁,包含9頁正文以及附錄和補充材料,配有14幅圖,屬於人工智慧與計算語言學交叉方向的工作。