直接選好最適化（DPO）は強化学習を必要としない言語モデル調整手法であり、人間の選好を単純な勝者対敗者のシグナルとして扱いますが、脆弱な推論連鎖から生じるノイズや不安定な選好に敏感です。この問題に対処するため、複数の研究機関の研究者らは、トポロジーと不確実性を考慮したDPOの変種であるTUR-DPOを提案しました。TUR-DPOは、回答の内容だけでなく、その導出方法に報酬を与えることを目的としています。具体的には、軽量な推論トポロジーを抽出し、意味的忠実性、有用性、トポロジー品質を組み合わせて、較正された不確実性シグナルを生成します。このシグナルから小さな学習可能な報酬関数が分解され、不確実性で重み付けされたDPO目標に組み込まれます。これにより、強化学習を不要とし、固定または移動する参照ポリシーのみを使用します。
実証評価では、7〜8Bパラメータのオープンモデルを使用し、数学的推論、事実に基づく質問応答、要約、有用/無害な対話などのベンチマークでテストされました。結果は、標準DPOと比較して、審判勝率、忠実性、較正が改善され、訓練の簡便性を維持し、オンラインロールアウトを回避できることを示しています。さらに、マルチモーダルおよび長文脈設定でも一貫した利得が観察され、TUR-DPOは推論中心のタスクでPPOに匹敵またはそれを上回りながら、運用の単純さを維持しています。この研究はICML 2026で発表されました。TUR-DPOは、複雑な強化学習フレームワークへの依存を軽減しながら、性能と効率のバランスを提供する新たなアプローチとして注目されます。
TUR-DPOの核心は、推論トポロジーの生成と不確実性シグナルの較正にあります。推論トポロジーはモデル出力から軽量な方法で抽出され、追加の訓練データを必要としません。不確実性シグナルは、推論ステップ間の意味的一貫性、推論結果の最終回答への支持度、推論連鎖の全体的な品質など、複数の次元を統合します。これらのシグナルは選好最適化プロセスを導き、モデルが明確で信頼性の高い推論経路を持つ回答を優先し、不確実または矛盾した推論に基づく出力を抑制するようにします。この設計により、TUR-DPOはDPOの訓練の容易さを維持しつつ、アライメントの品質と堅牢性を大幅に向上させます。