大規模言語モデル（LLM）の選好チューニングは通常、対象言語の高品質な選好アノテーションを必要とし、低リソース言語では困難である。コペンハーゲン大学などの研究者らは、CroCo（Cross-Lingual Contrastive Preference Tuning on Self-Generations）を提案し、言語固有の選好アノテーションなしで多言語モデルの性能を向上させる手法を示した。
既存研究では、報酬スコアを用いてLLMの自己生成応答間の対比度を制御することで、英語の選好チューニングが改善されることが示されている。CroCoはこの手法を多言語に拡張し、多言語ベースモデル上で英語の選好データのみで訓練された報酬モデルを使用する。この報酬モデルが各言語の自己生成応答をランク付けし、対比ペアを構築してチューニングを行う。実験はEuroLLM-9BとAya-3Bの2モデルで、英語、中国語、日本語、アラビア語など14の高・低リソース言語を対象に、構造化生成（QA、翻訳など）とオープンエンドテキスト生成の両方で評価された。
主な発見として、英語の報酬モデルが多くの言語で有効な言語内ランキングを生成できること、また単言語・多言語のいずれの設定でもCroCoがほとんどのケースでベースラインを改善し、教師ありファインチューニング後の破滅的忘却を防止することが挙げられる。性能向上にはオン・ポリシーデータ（現在のモデルが生成した応答）が不可欠であり、オフ・ポリシーデータでは効果が低下し、オンライン選好最適化はオフライン変種を上回らなかった。
具体的には、構造化タスクでEuroLLM-9Bは7言語中6言語でベースラインに並ぶか上回り、Aya-3Bは7設定中4設定で改善。オープンエンド生成では、両モデルが評価した11言語すべてでベースラインに勝利した。CroCoは、特に選好アノテーションが不足する低リソース言語に対する多言語選好チューニングの有望な方向性を示している。
この手法の利点はその簡潔さにある：英語の報酬モデル一つで多言語の選好学習を導くことができ、言語ごとに選好データを収集する必要がない。これにより多言語モデルアライメントのコストを大幅に削減できる。また、オフライン変種がオンライン最適化よりも安定しており、破滅的忘却を防ぐため、実用的な展開に適している。今後の研究では、クロスリンガル報酬モデルの汎化能力をさらに最適化することや、CroCoをより多くの言語や複雑なタスクに適用することが期待される。