内部潜在分析による拡散モデルの統一バックボーン最適化

拡散モデルは画像生成、音声合成、分子設計など多様な分野で顕著な成功を収めている。しかし、その性能はノイズ除去バックボーン（U-NetやTransformerなど）のパラメータ化能力に大きく依存する。研究者らは、生成プロセス、特に低ノイズの初期段階において、深層潜在変数に急激な変動が生じ、これがアーティファクトや幻覚と強く関連していることを発見した。この問題に対処するため、ECCV 2026で発表された論文はDUNE（Diffusion Unified Network refiNEr）を提案している。これは学習不要で、内部潜在分析によりバックボーンを統一最適化するフレームワークである。

DUNEの核心は、拡散モデルの逆過程において、深層低ノイズ内部潜在変数をリアルタイムで監視し、指数移動平均（EMA）に基づく基準を用いて異常偏差を検出し、検出されたエントリに対してバックボーン固有の抑制操作を適用することである。この手法は再学習を必要としないため、計算コストが低く、既存の拡散モデルに容易に統合できる。注目すべきは、DUNEが当初U-Net向けに設計されたものの、その「検出-抑制」原理はTransformerベースの拡散モデルにも自然に拡張可能であり、深層自己注意ブロックの潜在変数に同様の操作を適用するだけでよい点である。

研究チームは、異なるU-Net変種やTransformerアーキテクチャを含む複数のバックボーンで広範な実験を行った。結果は、DUNEが生成画像の忠実度を大幅に向上させるとともに、幻覚を低減することを示している。例えば、ImageNet生成タスクでは、DUNEはFID（Frechet Inception Distance）を約10%改善し、多様性を維持した。さらに、DUNEはテキストから画像への生成や超解像などのタスクでも有効性を示した。

この研究は、拡散モデルの軽量改良への道を開くものである。DUNEは学習不要であるため、モバイルデバイスやリアルタイム生成シナリオなどリソース制約のある環境に特に適している。また、DUNEは拡散モデルの動的制御に関する新たな洞察を提供し、深層潜在変数の変動を調整することで生成プロセスをより効果的に制御できることを示している。今後、研究者らはDUNEを他の生成モデルに拡張し、より広範な応用における可能性を探求する予定である。