2026年5月9日、Zhengyuan Fanら4名の研究者による論文「ξ-DPO: Direct Preference Optimization via Ratio Reward Margin」がarXivで公開されました。本稿では、強化学習における人間のフィードバックからの選好最適化の新手法を提案しています。
近年、参照モデルを必要としない無参照選好最適化が注目を集めており、SimPOはシンプルな目的関数で高い性能を示しています。しかし、SimPOではハイパーパラメータβとγの共同チューニングが難しく、特にマージンの定式化がデータセットの報酬ギャップ構造によって異なるため、解釈が困難です。
研究チームはSimPOを詳細に分析し、βがサンプルフィルタリングを暗黙に制御する一方、γの効果は報酬ギャップ構造に依存することを発見しました。この知見に基づき、ξ-DPOを考案。まず、選好目的関数を等価変換し、報酬ギャップの尤度最大化から報酬ギャップと最適マージン間の距離最小化へと最適化目標を変更します。次に、報酬を選択応答と拒否応答の比率形式で再定義し、これによりβの影響を除去し、有界で解釈可能なマージンを実現します。このマージンが比率報酬マージンξです。
SimPOのγと異なり、ξは選択応答と拒否応答の望ましい相対的分離を明示的に表し、初期報酬ギャップ分布から直接決定できるため、繰り返しの試行錯誤的なチューニングが不要となります。このアプローチにより、異なるデータセットに対しても頑健で実用的な選好最適化が可能になると期待されます。さらに、ξ-DPOはSimPOの参照モデル不要の利点を維持しつつ、ハイパーパラメータ調整の負担を大幅に軽減します。実験では、複数のベンチマークでSimPOと同等以上の性能を示し、ハイパーパラメータ選択に対する感度が低いことが確認されました。本研究は、無参照選好最適化の新たな方向性を示し、RLHF技術のより広範な応用を促進するものと考えられます。