噪聲錨定擴散反演中的壓縮不對稱性與軌跡綁定
本文研究了真實圖像擴散反演中的質量-成本權衡，揭示了元素級壓縮不對稱性和軌跡綁定兩個關鍵機制，並由此提出訓練無關的反演方法NARC。該方法僅需存儲單個int8潛碼錨點，在保持重建質量的同時將存儲需求降低約400倍，在PIE-Bench++上PSNR提升3.24 dB。
現實圖像擴散反演面臨一個根本性的質量-成本權衡，計算、存儲或每張圖像的優化均會引入成本。本文通過前向高斯噪聲錨點（定義擴散軌跡）深入研究這一權衡，並分離出兩種有效存儲噪聲反演的機制。
首先，擴散噪聲展現出元素級的壓縮不對稱性：int8全維度錨點能夠很好地保留重建質量，而低維子空間摘要則遠不可靠，即使在有效載荷相當或更小的情況下也經常崩潰。這種元素優於子空間的排序在五種存儲噪聲反演方法中一致存在。其次，反演是軌跡綁定且依賴分數先驗的：匹配的前向錨點和訓練好的分數網絡兩者缺一不可，這反駁了純代數恆等式的解釋。
基於這些發現，本文提出了噪聲錨定反向校正（NARC），一個無需訓練的反演原語。NARC僅存儲單個int8潛碼錨點，並採用固定的、依賴於噪聲水平的錨點權重調度：在反向軌跡受噪聲主導時強錨定，當圖像細節出現時放鬆錨定。在PIE-Bench++基準上使用Stable Diffusion 1.5，NARC超越了五種現代非精確基線，相比於PnP DirectInv，PSNR提高了3.24 dB，同時存儲需求減少了約400倍。此外，這種壓縮不對稱性、錨點特異性以及編輯插件也能遷移到SDXL 1024²。該研究為擴散模型的反演提供了新的理論理解和實用方法，有望推動圖像編輯、生成等應用的效率提升。