基於內部潛在分析的擴散模型統一骨幹優化框架

擴散模型在圖像生成、音頻合成和分子設計等領域取得了顯著成功。然而，這些模型的性能高度依賴於去噪骨幹網絡（如U-Net或Transformer）的參數化能力。研究人員發現，在生成過程中，尤其是在早期的噪聲水平較低階段，深層潛在變量會出現劇烈波動，這些波動與生成的偽影和幻覺密切相關。為了解決這一問題，來自歐洲計算機視覺大會（ECCV 2026）的一篇論文提出了DUNE（Diffusion Unified Network refiNEr），這是一個無需訓練的優化框架，通過內部潛在分析實現骨幹網絡的統一優化。

DUNE的核心思想是：在擴散模型的逆過程中，實時監測深層低噪聲內部潛在變量，使用基於指數移動平均（EMA）的標準檢測異常偏差，並對檢測到的條目應用骨幹特定的抑制操作。這種方法不需要重新訓練模型，因此計算成本低，易於集成到現有的擴散模型中。值得注意的是，儘管DUNE最初是為U-Net架構設計的，但其“檢測-抑制”原理可以自然擴展到基於Transformer的擴散模型，只需對深層自注意力塊的潛在變量施加相同的操作即可。

研究團隊在多個骨幹網絡上進行了大量實驗，包括不同的U-Net變體和Transformer架構。結果表明，DUNE能夠顯著提升生成圖像的保真度，同時減少幻覺現象。例如，在ImageNet生成任務中，DUNE將FID（Frechet Inception Distance）降低了約10%，同時保持了較高的多樣性。此外，DUNE還展示了其在文本到圖像生成和超分辨率等任務中的適用性。

這項研究為擴散模型的輕量化改進開闢了新的道路。由於DUNE無需訓練，它特別適用於資源受限的環境，如移動設備或實時生成場景。此外，DUNE為理解擴散模型的動態控制提供了新的視角，表明通過調控深層潛在變量的波動可以更有效地控制生成過程。未來，研究人員計劃將DUNE擴展到其他類型的生成模型，並探索其在更廣泛的應用中的潛力。