D2PO：通过动态偏好优化扩散采样器
D2PO（动态直接偏好优化）是一个框架，用于优化扩散模型的采样策略，包括时间步调度和无分类器引导权重。它解决了传统师生回归框架中低NFE学生采样器牺牲高频纹理保真度的问题，通过偏好对齐和动态偏好机制实现更好的感知质量。实验表明，在低NFE约束下，D2PO优于常规回归调度器。
近日，一篇题为“D2PO: Optimizing Diffusion Samplers via Dynamic Preference”的研究论文被计算机视觉顶级会议ECCV 2026接收。该研究提出了一种名为D2PO（Dynamic Direct Preference Optimization，动态直接偏好优化）的框架，旨在优化扩散模型的采样策略，特别是针对时间步调度和无分类器引导（CFG）权重的选择。
扩散模型在图像生成等领域取得了巨大成功，但其采样过程通常需要多次函数评估（NFE），计算成本较高。为了降低NFE，现有的方法通常采用师生回归框架：让低NFE的学生采样器模仿高NFE教师采样器的输出。然而，这种回归方法存在根本性缺陷：学生模型在保留宏观结构的同时，往往牺牲了高频纹理细节，导致生成的图像在感知质量上与人类偏好不一致。D2PO正是为了克服这一局限性而提出的。
D2PO的核心思想是将采样器优化重新定义为基于偏好的对齐问题，并借助在大型语言模型领域取得成功的直接偏好优化（DPO）框架。为了使DPO适用于扩散采样器，研究者将采样策略建模为基于能量的模型（EBM），从而将偏好比较转化为可计算的能量差异。他们进一步引入了一种新颖的能量公式，该公式直接从预训练的分数网络中推导得出，能够在扰动空间中同时评估结构一致性和细粒度细节，从而实现更精确的偏好评估。
更值得注意的是，D2PO引入了动态偏好机制。与传统方法使用固定的教师样本不同，动态偏好机制下的偏好样本会随着采样策略的学习而逐步改进。这种自我改进的机制取代了静态的教师监督，通过迭代的、偏好引导的优化过程，提供越来越强的对齐信号。这使得采样器在训练过程中不断自我提升，最终实现与感知质量的更忠实对齐。
大量实验结果表明，D2PO能够更有效地将扩散采样器与感知质量对齐，充分发挥高质量教师模型的潜力，并在低NFE约束下持续优于传统的基于回归的调度器。这项工作为扩散模型的采样优化提供了全新的范式，有望在图像生成、视频生成等应用中显著提高效率和质量。