跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

微宏檢索:減少大語言模型中的長文本幻覺

文章摘要

大語言模型在長文本生成中容易出現幻覺,現有檢索增強模型無法保證關鍵信息靠近輸出。本文提出的微宏檢索(M2R)框架通過宏觀檢索粗粒度證據和微觀檢索關鍵信息庫,顯著減少了長文本任務中的幻覺,並採用基於課程學習的強化學習策略進行訓練。

來源arXiv Computational Linguistics作者: Yujie Feng, Jian Li, Zhihan Zhou, Pengfei Xu, Yujia Zhang, Xiaoyu Li, Xiaohui Zhou, Alan Zhao, Xi Chen, Xiao-Ming Wu
微宏檢索:減少大語言模型中的長文本幻覺
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

大語言模型(LLM)在多種任務中表現出色,但在長文本生成中仍然容易出現幻覺,尤其是在檢索上下文冗餘或推理鏈較長的情況下,事實錯誤會被進一步放大。近年來的研究揭示了一個關鍵現象:關鍵信息越靠近模型輸出,事實準確性就越高。然而,現有的檢索增強語言模型(RALM)缺乏有效機制來保證這種接近性——外部證據通過多輪檢索被注入推理過程,但無法確保關鍵信息始終靠近最終輸出。

為了填補這一空白,Yujie Feng等十位研究者在arXiv上提交了一篇論文(編號2605.28828),提出了一種名為微宏檢索(M2R)的新型“邊檢索邊生成”框架。在宏觀層面,M2R從外部來源檢索粗粒度的證據;在微觀層面,它從推理過程中構建的關鍵信息庫中提取核心結果,並在生成答案時重新利用這些結果。這種雙層設計直接解決了關鍵信息到輸出的接近性瓶頸,從而有效減少了長文本任務中的幻覺現象。

M2R的訓練採用了基於課程學習的強化學習策略,並使用定製化的基於規則的獎勵機制,使模型能夠穩定地掌握檢索和歸因技能。論文在多個基準測試上進行了廣泛的實驗,結果顯示M2R非常有效,尤其在長上下文設置中表現突出。這項工作對於提升LLM在長文本生成任務中的可靠性具有重要意義,未來可能影響模型選型、推理成本、產品能力和評測基準。

展開要點與分析

文章情報

工程師進階

要點

  • 大語言模型在長文本生成中因冗餘檢索和長推理鏈易產生幻覺
  • 關鍵信息越靠近輸出,事實準確性越高
  • M2R框架通過宏觀和微觀兩級檢索確保關鍵信息與輸出靠近
  • 基於課程學習的強化學習策略穩定訓練檢索與歸因能力

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。