大型語言模型（LLM）的偏好調優通常依賴於目標語言的高質量偏好標註，這在低資源語言中尤為困難。近日，來自哥本哈根大學等機構的研究者提出了CroCo（Cross-Lingual Contrastive Preference Tuning on Self-Generations），一種跨語言對比偏好調優方法，旨在無需語言特定偏好標註的情況下提升多語言模型性能。
研究團隊基於已有發現——即通過獎勵分數控制LLM自生成響應間的對比度可改進英語偏好調優——將這一方法擴展至多語言場景。核心思路是：在一個多語言基座模型上，僅使用英語偏好數據訓練一個獎勵模型，然後利用該獎勵模型對模型自生成的各語言響應進行排序，並構建對比偏好對進行調優。實驗在EuroLLM-9B和Aya-3B兩個模型上進行，覆蓋英語、中文、日語、阿拉伯語等14種高資源和低資源語言，任務涵蓋結構化生成（如問答、翻譯）和開放文本生成。
關鍵發現包括：首先，英語獎勵模型能夠產生有意義的各語言內部排名，使得跨語言遷移成為可能；其次，無論是單語言還是多語言配對設置，CroCo在大多數場景下都能提升模型性能，同時避免監督微調後的災難性遺忘。值得注意的是，性能提升嚴格依賴於內策略（on-policy）數據——即由當前模型自生成的響應；外策略（off-policy）響應會削弱收益，而在線偏好優化（如在線DPO）並未優於離線變體。
具體結果方面：在結構化任務上，CroCo在EuroLLM-9B的7種語言中有6種匹配或超越基線，在Aya-3B的7種設置中有4種表現更優；在開放生成任務中，兩個調優模型在全部11種評估語言上均勝於各自基線。研究者認為，CroCo為多語言偏好調優提供了有效且經濟的路徑，尤其適用於缺乏偏好標註的低資源語言場景。
該方法的優勢在於其簡潔性：僅需一個英語獎勵模型即可引導多語言偏好學習，無需為每種語言單獨收集偏好數據。這大大降低了多語言模型對齊的成本。此外，研究還發現離線變體比在線優化更穩定，且能防止災難性遺忘，這為實際部署提供了便利。未來工作可以探索如何進一步優化跨語言獎勵模型的泛化能力，以及如何將CroCo應用於更多語言和更復雜的任務。