大型语言模型（LLM）的偏好调优通常依赖于目标语言的高质量偏好标注，这在低资源语言中尤为困难。近日，来自哥本哈根大学等机构的研究者提出了CroCo（Cross-Lingual Contrastive Preference Tuning on Self-Generations），一种跨语言对比偏好调优方法，旨在无需语言特定偏好标注的情况下提升多语言模型性能。
研究团队基于已有发现——即通过奖励分数控制LLM自生成响应间的对比度可改进英语偏好调优——将这一方法扩展至多语言场景。核心思路是：在一个多语言基座模型上，仅使用英语偏好数据训练一个奖励模型，然后利用该奖励模型对模型自生成的各语言响应进行排序，并构建对比偏好对进行调优。实验在EuroLLM-9B和Aya-3B两个模型上进行，覆盖英语、中文、日语、阿拉伯语等14种高资源和低资源语言，任务涵盖结构化生成（如问答、翻译）和开放文本生成。
关键发现包括：首先，英语奖励模型能够产生有意义的各语言内部排名，使得跨语言迁移成为可能；其次，无论是单语言还是多语言配对设置，CroCo在大多数场景下都能提升模型性能，同时避免监督微调后的灾难性遗忘。值得注意的是，性能提升严格依赖于内策略（on-policy）数据——即由当前模型自生成的响应；外策略（off-policy）响应会削弱收益，而在线偏好优化（如在线DPO）并未优于离线变体。
具体结果方面：在结构化任务上，CroCo在EuroLLM-9B的7种语言中有6种匹配或超越基线，在Aya-3B的7种设置中有4种表现更优；在开放生成任务中，两个调优模型在全部11种评估语言上均胜于各自基线。研究者认为，CroCo为多语言偏好调优提供了有效且经济的路径，尤其适用于缺乏偏好标注的低资源语言场景。
该方法的优势在于其简洁性：仅需一个英语奖励模型即可引导多语言偏好学习，无需为每种语言单独收集偏好数据。这大大降低了多语言模型对齐的成本。此外，研究还发现离线变体比在线优化更稳定，且能防止灾难性遗忘，这为实际部署提供了便利。未来工作可以探索如何进一步优化跨语言奖励模型的泛化能力，以及如何将CroCo应用于更多语言和更复杂的任务。