ノイズアンカー拡散インバージョンにおける圧縮非対称性と軌道結合
本論文は、実画像拡散インバージョンにおける品質とコストのトレードオフを研究し、要素ごとの圧縮非対称性と軌道結合という2つのメカニズムを明らかにし、訓練不要な反転手法NARCを提案する。NARCは単一のint8潜在アンカーのみを保存し、記憶容量を約400倍削減しながらPSNRを3.24 dB向上させる。
実画像拡散インバージョンは、計算、記憶、または画像ごとの最適化においてコストが発生するという、品質とコストの厳しいトレードオフに支配されています。本論文では、拡散軌道を定義する前方ガウスノイズアンカーを通じてこのトレードオフを研究し、効果的な記憶ノイズインバージョンの背後にある2つのメカニズムを特定します。
第一に、拡散ノイズは要素ごとの圧縮非対称性を示します。int8全次元アンカーは再構成を維持しますが、低次元部分空間の要約ははるかに信頼性が低く、同等またはより小さなペイロードでもしばしば崩壊します。この要素優先の順序は、5つの記憶ノイズインバージョン手法で一貫しています。第二に、インバージョンは軌道結合であり、スコア事前分布に結合しています。一致した前方アンカーと訓練済みスコアネットワークの両方が必要であり、純粋な代数恒等式による説明は不十分です。
これらの発見に基づき、本論文はノイズアンカー逆補正（NARC）を提案します。これは訓練不要のインバージョンプリミティブで、単一のint8潜在アンカーを保存し、固定されたノイズレベル依存のアンカー重みスケジュールで再利用します。逆軌道がノイズ支配のときは強くアンカーし、画像詳細が現れるにつれてアンカーを緩めます。PIE-Bench++とStable Diffusion 1.5において、NARCは5つの最新の非厳密ベースラインを上回り、PnP DirectInvと比較してPSNRを+3.24 dB向上させ、インバージョン記憶を約400倍削減します。圧縮非対称性、アンカー特異性、および編集プラグインはSDXL 1024²にも転送可能です。本研究成果は拡散モデルのインバージョンに対する新たな理論的理解と実用的手法を提供し、画像編集や生成アプリケーションの効率向上に貢献することが期待されます。