大語言模型(LLM)在多種任務中表現出色,但在長文本生成中仍然容易出現幻覺,尤其是在檢索上下文冗餘或推理鏈較長的情況下,事實錯誤會被進一步放大。近年來的研究揭示了一個關鍵現象:關鍵信息越靠近模型輸出,事實準確性就越高。然而,現有的檢索增強語言模型(RALM)缺乏有效機制來保證這種接近性——外部證據通過多輪檢索被注入推理過程,但無法確保關鍵信息始終靠近最終輸出。
為了填補這一空白,Yujie Feng等十位研究者在arXiv上提交了一篇論文(編號2605.28828),提出了一種名為微宏檢索(M2R)的新型“邊檢索邊生成”框架。在宏觀層面,M2R從外部來源檢索粗粒度的證據;在微觀層面,它從推理過程中構建的關鍵信息庫中提取核心結果,並在生成答案時重新利用這些結果。這種雙層設計直接解決了關鍵信息到輸出的接近性瓶頸,從而有效減少了長文本任務中的幻覺現象。
M2R的訓練採用了基於課程學習的強化學習策略,並使用定製化的基於規則的獎勵機制,使模型能夠穩定地掌握檢索和歸因技能。論文在多個基準測試上進行了廣泛的實驗,結果顯示M2R非常有效,尤其在長上下文設置中表現突出。這項工作對於提升LLM在長文本生成任務中的可靠性具有重要意義,未來可能影響模型選型、推理成本、產品能力和評測基準。