基於內部潛在分析的擴散模型統一骨幹最佳化框架

擴散模型在影像生成、音訊合成和分子設計等領域取得了顯著成功。然而，這些模型的效能高度依賴於去噪骨幹網路（如U-Net或Transformer）的引數化能力。研究人員發現，在生成過程中，尤其是在早期的噪聲水平較低階段，深層潛在變數會出現劇烈波動，這些波動與生成的偽影和幻覺密切相關。為了解決這一問題，來自歐洲計算機視覺大會（ECCV 2026）的一篇論文提出了DUNE（Diffusion Unified Network refiNEr），這是一個無需訓練的最佳化框架，透過內部潛在分析實現骨幹網路的統一最佳化。

DUNE的核心思想是：在擴散模型的逆過程中，即時監測深層低噪聲內部潛在變數，使用基於指數移動平均（EMA）的標準檢測異常偏差，並對檢測到的條目應用骨幹特定的抑制操作。這種方法不需要重新訓練模型，因此計算成本低，易於整合到現有的擴散模型中。值得注意的是，儘管DUNE最初是為U-Net架構設計的，但其“檢測-抑制”原理可以自然擴充套件到基於Transformer的擴散模型，只需對深層自注意力塊的潛在變數施加相同的操作即可。

研究團隊在多個骨幹網路上進行了大量實驗，包括不同的U-Net變體和Transformer架構。結果表明，DUNE能夠顯著提升生成影像的保真度，同時減少幻覺現象。例如，在ImageNet生成任務中，DUNE將FID（Frechet Inception Distance）降低了約10%，同時保持了較高的多樣性。此外，DUNE還展示了其在文本到影像生成和超解析度等任務中的適用性。

這項研究為擴散模型的輕量化改進開闢了新的道路。由於DUNE無需訓練，它特別適用於資源受限的環境，如移動裝置或即時生成場景。此外，DUNE為理解擴散模型的動態控制提供了新的視角，表明透過調控深層潛在變數的波動可以更有效地控制生成過程。未來，研究人員計劃將DUNE擴充套件到其他型別的生成模型，並探索其在更廣泛的應用中的潛力。