基于内部潜在分析的扩散模型统一骨干优化框架

扩散模型在图像生成、音频合成和分子设计等领域取得了显著成功。然而，这些模型的性能高度依赖于去噪骨干网络（如U-Net或Transformer）的参数化能力。研究人员发现，在生成过程中，尤其是在早期的噪声水平较低阶段，深层潜在变量会出现剧烈波动，这些波动与生成的伪影和幻觉密切相关。为了解决这一问题，来自欧洲计算机视觉大会（ECCV 2026）的一篇论文提出了DUNE（Diffusion Unified Network refiNEr），这是一个无需训练的优化框架，通过内部潜在分析实现骨干网络的统一优化。

DUNE的核心思想是：在扩散模型的逆过程中，实时监测深层低噪声内部潜在变量，使用基于指数移动平均（EMA）的标准检测异常偏差，并对检测到的条目应用骨干特定的抑制操作。这种方法不需要重新训练模型，因此计算成本低，易于集成到现有的扩散模型中。值得注意的是，尽管DUNE最初是为U-Net架构设计的，但其“检测-抑制”原理可以自然扩展到基于Transformer的扩散模型，只需对深层自注意力块的潜在变量施加相同的操作即可。

研究团队在多个骨干网络上进行了大量实验，包括不同的U-Net变体和Transformer架构。结果表明，DUNE能够显著提升生成图像的保真度，同时减少幻觉现象。例如，在ImageNet生成任务中，DUNE将FID（Frechet Inception Distance）降低了约10%，同时保持了较高的多样性。此外，DUNE还展示了其在文本到图像生成和超分辨率等任务中的适用性。

这项研究为扩散模型的轻量化改进开辟了新的道路。由于DUNE无需训练，它特别适用于资源受限的环境，如移动设备或实时生成场景。此外，DUNE为理解扩散模型的动态控制提供了新的视角，表明通过调控深层潜在变量的波动可以更有效地控制生成过程。未来，研究人员计划将DUNE扩展到其他类型的生成模型，并探索其在更广泛的应用中的潜力。