噪声锚定扩散反演中的压缩不对称性与轨迹绑定
本文研究了真实图像扩散反演中的质量-成本权衡，揭示了元素级压缩不对称性和轨迹绑定两个关键机制，并由此提出训练无关的反演方法NARC。该方法仅需存储单个int8潜码锚点，在保持重建质量的同时将存储需求降低约400倍，在PIE-Bench++上PSNR提升3.24 dB。
现实图像扩散反演面临一个根本性的质量-成本权衡，计算、存储或每张图像的优化均会引入成本。本文通过前向高斯噪声锚点（定义扩散轨迹）深入研究这一权衡，并分离出两种有效存储噪声反演的机制。
首先，扩散噪声展现出元素级的压缩不对称性：int8全维度锚点能够很好地保留重建质量，而低维子空间摘要则远不可靠，即使在有效载荷相当或更小的情况下也经常崩溃。这种元素优于子空间的排序在五种存储噪声反演方法中一致存在。其次，反演是轨迹绑定且依赖分数先验的：匹配的前向锚点和训练好的分数网络两者缺一不可，这反驳了纯代数恒等式的解释。
基于这些发现，本文提出了噪声锚定反向校正（NARC），一个无需训练的反演原语。NARC仅存储单个int8潜码锚点，并采用固定的、依赖于噪声水平的锚点权重调度：在反向轨迹受噪声主导时强锚定，当图像细节出现时放松锚定。在PIE-Bench++基准上使用Stable Diffusion 1.5，NARC超越了五种现代非精确基线，相比于PnP DirectInv，PSNR提高了3.24 dB，同时存储需求减少了约400倍。此外，这种压缩不对称性、锚点特异性以及编辑插件也能迁移到SDXL 1024²。该研究为扩散模型的反演提供了新的理论理解和实用方法，有望推动图像编辑、生成等应用的效率提升。