CLaRa：透過連續潛在推理連線檢索與生成

檢索增強生成（RAG）透過整合外部知識極大地提升了大型語言模型（LLM）的能力，使其能夠訪問即時資訊、專業知識以及長尾內容。然而，傳統RAG系統仍然面臨兩大挑戰：一是長上下文導致的計算開銷和注意力分散，二是檢索器與生成器之間的最佳化目標不統一，往往各自獨立訓練，難以協同工作。最近，蘋果公司與愛丁堡大學的研究人員提出了一種名為CLaRa（Continuous Latent Reasoning）的新型統一框架，旨在解決這些問題。該框架的核心思想是在共享的連續潛在空間中對文件進行嵌入壓縮，並聯合最佳化重排序器和生成器，從而實現高效的檢索增強生成。

為了實現語義豐富且可檢索的壓縮向量，CLaRa引入了SCP（Key-Preserving Data Synthesis）資料合成方法。該方法基於問答和釋義任務，透過監督學習生成保留關鍵資訊的壓縮表示。具體而言，SCP利用原始文件、對應的問題-答案對以及釋義版本，訓練模型學習如何將文件資訊濃縮為連續的隱藏向量。這些向量既保留了文件的核心內容，又具備良好的可檢索性，從而大幅減少了後續需要輸入生成器的文件長度。研究表明，這種方法可以顯著降低生成器的上下文長度，同時保持甚至提升回答質量。

CLaRa的另一項關鍵創新是使用可微分的top-k估計器，使得整個系統能夠透過單一的語言建模損失函式進行端到端訓練。傳統的RAG系統通常將重排序器和生成器分開訓練，導致檢索相關性與答案生成質量之間難以對齊。CLaRa透過可微分技術使得梯度能夠從生成器流回重排序器，從而實現兩個模組的聯合最佳化。這種設計在理論上確保了檢索的文件不僅與查詢語義相關，還能直接服務於最終答案的生成。實驗結果表明，即使在16倍的高壓縮率下，CLaRa在多個問答基準測試（如NQ、TriviaQA等）中仍然取得了最先進的壓縮和重排序效能，顯著超越了基於文本微調的基線方法。

這項研究的意義在於，它首次展示了連續潛在推理在RAG系統中的巨大潛力。透過將文件壓縮為連續向量，CLaRa不僅減少了儲存和計算開銷，還實現了檢索與生成的深度協同。這對於部署在實際應用中的大語言模型具有重要價值，特別是那些需要處理大量外部資訊、對延遲和成本敏感的場景。未來，CLaRa的方法有望進一步推廣到多模態檢索、對話系統等更廣泛的領域。