學生去哪就蒸餾到哪：教師正則化強化學習用於英語證據的跨語言RAG

跨語言檢索增強生成（RAG）在實際部署中常採用英語證據模式，即用户以多種語言提問，但檢索到的文檔均為英文。這種設置下，即使強大的基礎模型也可能出現生成失敗：英語證據容易導致語言漂移（模型輸出英語或混合語言），且模型在生成非英語答案時對證據的利用不可靠。本文分析認為，這些失敗源於兩個後訓練挑戰：

首先，錯誤具有前綴依賴性，固定軌跡的監督會導致前綴不匹配。例如，在生成答案的過程中，早期的錯誤可能會影響後續的決策，但傳統的監督學習方法使用固定的輸入輸出對，無法動態調整。其次，序列級獎勵（部分離散或基於評判者）帶來噪聲信用分配和高方差更新。當獎勵信號是延遲且稀疏的，模型難以準確地將成功歸因於前面的動作。

為了解決這些問題，作者提出了TR-RAG，一種教師正則化強化學習（RL）方案。TR-RAG將獎勵優化與學生訪問前綴上的在線蒸餾相結合：一個緊湊的學生模型在線採樣答案，同時一個更強的凍結教師模型僅在這些前綴上被查詢，並逐前綴提供學生到教師的逆向KL散度錨點。這種方法既利用了教師的知識，又避免了學生過早收斂到次優策略。此外，還引入了一種針對英語證據多語言生成的獎勵分解，包含語言一致性、字符三元組召回率（character 3-gram recall）和LLM評判分數（用於評估基於證據的正確性）。

在三個基準（BioASQ-ENKB5、Hotpot-ENKB5和天然多語言的MKQA）和兩個骨幹模型上的實驗表明，TR-RAG在語言遵從性和基於證據的正確性綜合指標上優於強基線。關鍵的是，教師錨點起到了安全網的作用：在領域內語言上，它防止了僅使用獎勵的RL可能遭遇的大幅語言一致性崩潰（最高達約27個百分點），甚至低於基礎模型；而對於遙遠的分佈外語言——僅獎勵RL停滯在基礎模型上限——TR-RAG仍能改善證據基礎；在字符三元組召回率上，緊湊的學生模型有時甚至超越其70B參數的教師模型。

這項工作的意義在於，它為跨語言RAG系統提供了一種有效的訓練範式，能夠在多語言環境中保持語言的穩定性和證據的可靠性。未來，該方法可以擴展到其他多模態任務，並進一步優化獎勵設計。