学生が行く場所で蒸留する：英語エビデンスのための教師正則化強化学習を用いたクロスリンガルRAG

クロスリンガル検索拡張生成（RAG）は、ユーザーが多様な言語でクエリを発行する一方、検索される文書が英語である状況でよく利用される。この設定では、強力なベースモデルを使用しても生成に失敗することがある。英語のエビデンスは言語ドリフト（英語またはコードスイッチング出力）を引き起こし、モデルが非英語の回答を生成する際にエビデンスを信頼性なく使用する。著者らは、これらの失敗を2つの後訓練課題に起因すると分析する。

まず、エラーはプレフィックスに依存するため、固定軌跡の監視はプレフィックスのミスマッチに悩まされる。例えば、回答生成の初期段階での誤りが後続の決定に影響を与える可能性があるが、従来の教師あり学習では固定の入出力ペアを使用するため、動的に調整できない。次に、系列レベルの報酬（部分的に離散的または判定者ベース）はノイズの多いクレジット割り当てと高分散の更新をもたらす。報酬信号が遅延かつ疎である場合、モデルは成功を以前のアクションに正確に帰属させることが困難になる。

これらの課題に対処するため、本論文では教師正則化RLレシピであるTR-RAGを提案する。TR-RAGは、報酬最適化と学生が訪問したプレフィックスに対するオン方策蒸留を組み合わせる。コンパクトな学生モデルがオン方策で回答をサンプリングし、より強力な凍結教師モデルはそれらのプレフィックスに対してのみ照会され、プレフィックスごとの学生対教師の逆KLダイバージェンスアンカーを提供する。この方法は、教師の知識を活用しつつ、学生が早期に準最適戦略に収束するのを防ぐ。さらに、英語エビデンス多言語生成のための報酬分解を導入する。これは言語一貫性、文字3-gram再現率、およびエビデンスに基づく正確性のためのLLM判定スコアを組み合わせる。

BioASQ-ENKB5、Hotpot-ENKB5、および自然に多言語のMKQAの3つのベンチマークと2つのバックボーンで、TR-RAGは強力なベースラインと比較して言語遵守とエビデンスに基づく正確性の複合指標を改善する。重要なことに、教師アンカーはセーフティネットとして機能する：ドメイン内言語では、報酬のみのRLが被る可能性のある大きな言語一貫性の崩壊（最大約27パーセントポイント）を防ぎ、ベースモデルを下回ることもない。一方、遠方の分布外言語では——報酬のみのRLはベースモデルの上限で停滞する——TR-RAGはエビデンスの基礎を改善し続ける。また、文字3-gram再現率では、コンパクトな学生モデルが700億パラメータの教師モデルを超えることもある。

この研究の意義は、クロスリンガルRAGシステムに効果的な学習パラダイムを提供し、多言語環境で言語の安定性とエビデンスの信頼性を維持できる点にある。将来的には、この手法を他のマルチモーダルタスクに拡張し、報酬設計をさらに最適化することが期待される。