近日，一篇題為“D2PO: Optimizing Diffusion Samplers via Dynamic Preference”的研究論文被計算機視覺頂級會議ECCV 2026接收。該研究提出了一種名為D2PO（Dynamic Direct Preference Optimization，動態直接偏好最佳化）的框架，旨在最佳化擴散模型的取樣策略，特別是針對時間步排程和無分類器引導（CFG）權重的選擇。
擴散模型在影像生成等領域取得了巨大成功，但其取樣過程通常需要多次函式評估（NFE），計算成本較高。為了降低NFE，現有的方法通常採用師生迴歸框架：讓低NFE的學生取樣器模仿高NFE教師取樣器的輸出。然而，這種迴歸方法存在根本性缺陷：學生模型在保留宏觀結構的同時，往往犧牲了高頻紋理細節，導致生成的影像在感知質量上與人類偏好不一致。D2PO正是為了克服這一侷限性而提出的。
D2PO的核心思想是將取樣器最佳化重新定義為基於偏好的對齊問題，並藉助在大型語言模型領域取得成功的直接偏好最佳化（DPO）框架。為了使DPO適用於擴散取樣器，研究者將取樣策略建模為基於能量的模型（EBM），從而將偏好比較轉化為可計算的能量差異。他們進一步引入了一種新穎的能量公式，該公式直接從預訓練的分數網路中推導得出，能夠在擾動空間中同時評估結構一致性和細粒度細節，從而實現更精確的偏好評估。
更值得注意的是，D2PO引入了動態偏好機制。與傳統方法使用固定的教師樣本不同，動態偏好機制下的偏好樣本會隨著取樣策略的學習而逐步改進。這種自我改進的機制取代了靜態的教師監督，透過迭代的、偏好引導的最佳化過程，提供越來越強的對齊訊號。這使得采樣器在訓練過程中不斷自我提升，最終實現與感知質量的更忠實對齊。
大量實驗結果表明，D2PO能夠更有效地將擴散取樣器與感知質量對齊，充分發揮高質量教師模型的潛力，並在低NFE約束下持續優於傳統的基於迴歸的排程器。這項工作為擴散模型的取樣最佳化提供了全新的正規化，有望在影像生成、影片生成等應用中顯著提高效率和質量。