最近、「D2PO: Optimizing Diffusion Samplers via Dynamic Preference」と題された研究論文がコンピュータビジョンのトップ会議ECCV 2026に採択されました。この研究では、拡散モデルのサンプリング戦略、特にタイムステップスケジュールと無分類器ガイダンス（CFG）重みを最適化するためのフレームワークであるD2PO（Dynamic Direct Preference Optimization）を提案しています。
拡散モデルは画像生成などで大きな成功を収めていますが、そのサンプリングプロセスには通常多数の関数評価（NFE）が必要で、計算コストが高くなります。NFEを削減するため、既存手法では教師-生徒回帰フレームワークが一般的です。低NFEの生徒サンプラーが高NFEの教師サンプラーの出力を模倣するよう訓練されます。しかし、この回帰アプローチには根本的な欠陥があります。生徒モデルは大域的な構造を保持する一方で、高周波テクスチャの詳細を犠牲にすることが多く、生成画像の知覚品質が人間の選好と一致しなくなります。D2POはこの限界を克服するために考案されました。
D2POの核となるアイデアは、サンプラー最適化を選好ベースのアライメント問題として再定式化し、大規模言語モデルで成功を収めた直接選好最適化（DPO）フレームワークを活用することです。DPOを拡散サンプラーに適用可能にするため、研究者らはサンプリングポリシーをエネルギーベースモデル（EBM）としてモデル化し、選好比較を扱いやすいエネルギー差に変換します。さらに、事前学習済みスコアネットワークから直接導出される新しいエネルギー定式化を導入し、摂動空間で構造的一貫性と細かい詳細を同時に捉える選好評価を可能にしています。
特に注目すべき点は、動的選好メカニズムの導入です。従来の固定教師サンプルを使用する方法とは異なり、動的選好ではアライメントに使用される選好サンプルがサンプリングポリシーの学習とともに徐々に改善されます。この自己改善メカニズムは、静的な教師監督を反復的で選好に導かれた洗練プロセスに置き換え、ますます強力なアライメント信号を提供します。これにより、サンプラーはトレーニング中に継続的に自己改善し、最終的には知覚品質とのより忠実なアライメントを達成します。
広範な実験により、D2POは拡散サンプラーを知覚品質により忠実にアライメントし、高品質な教師モデルの潜在能力を最大限に引き出し、低NFE制約下で従来の回帰ベースのスケジューラを一貫して凌駕することが示されました。この研究は拡散モデルのサンプリング最適化に新しいパラダイムを提供し、画像生成や動画生成などのアプリケーションで効率と品質を大幅に向上させることが期待されます。