学生去哪就蒸馏到哪：教师正则化强化学习用于英语证据的跨语言RAG

跨语言检索增强生成（RAG）在实际部署中常采用英语证据模式，即用户以多种语言提问，但检索到的文档均为英文。这种设置下，即使强大的基础模型也可能出现生成失败：英语证据容易导致语言漂移（模型输出英语或混合语言），且模型在生成非英语答案时对证据的利用不可靠。本文分析认为，这些失败源于两个后训练挑战：

首先，错误具有前缀依赖性，固定轨迹的监督会导致前缀不匹配。例如，在生成答案的过程中，早期的错误可能会影响后续的决策，但传统的监督学习方法使用固定的输入输出对，无法动态调整。其次，序列级奖励（部分离散或基于评判者）带来噪声信用分配和高方差更新。当奖励信号是延迟且稀疏的，模型难以准确地将成功归因于前面的动作。

为了解决这些问题，作者提出了TR-RAG，一种教师正则化强化学习（RL）方案。TR-RAG将奖励优化与学生访问前缀上的在线蒸馏相结合：一个紧凑的学生模型在线采样答案，同时一个更强的冻结教师模型仅在这些前缀上被查询，并逐前缀提供学生到教师的逆向KL散度锚点。这种方法既利用了教师的知识，又避免了学生过早收敛到次优策略。此外，还引入了一种针对英语证据多语言生成的奖励分解，包含语言一致性、字符三元组召回率（character 3-gram recall）和LLM评判分数（用于评估基于证据的正确性）。

在三个基准（BioASQ-ENKB5、Hotpot-ENKB5和天然多语言的MKQA）和两个骨干模型上的实验表明，TR-RAG在语言遵从性和基于证据的正确性综合指标上优于强基线。关键的是，教师锚点起到了安全网的作用：在领域内语言上，它防止了仅使用奖励的RL可能遭遇的大幅语言一致性崩溃（最高达约27个百分点），甚至低于基础模型；而对于遥远的分布外语言——仅奖励RL停滞在基础模型上限——TR-RAG仍能改善证据基础；在字符三元组召回率上，紧凑的学生模型有时甚至超越其70B参数的教师模型。

这项工作的意义在于，它为跨语言RAG系统提供了一种有效的训练范式，能够在多语言环境中保持语言的稳定性和证据的可靠性。未来，该方法可以扩展到其他多模态任务，并进一步优化奖励设计。