跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

噪声锚定扩散反演中的压缩不对称性与轨迹绑定

文章摘要

本文研究了真实图像扩散反演中的质量-成本权衡,揭示了元素级压缩不对称性和轨迹绑定两个关键机制,并由此提出训练无关的反演方法NARC。该方法仅需存储单个int8潜码锚点,在保持重建质量的同时将存储需求降低约400倍,在PIE-Bench++上PSNR提升3.24 dB。

来源arXiv Computer Vision作者: Yongseong Park, Joeun Kim, HoEun Kim, Young-Sik Kim
噪声锚定扩散反演中的压缩不对称性与轨迹绑定
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

现实图像扩散反演面临一个根本性的质量-成本权衡,计算、存储或每张图像的优化均会引入成本。本文通过前向高斯噪声锚点(定义扩散轨迹)深入研究这一权衡,并分离出两种有效存储噪声反演的机制。

首先,扩散噪声展现出元素级的压缩不对称性:int8全维度锚点能够很好地保留重建质量,而低维子空间摘要则远不可靠,即使在有效载荷相当或更小的情况下也经常崩溃。这种元素优于子空间的排序在五种存储噪声反演方法中一致存在。其次,反演是轨迹绑定且依赖分数先验的:匹配的前向锚点和训练好的分数网络两者缺一不可,这反驳了纯代数恒等式的解释。

基于这些发现,本文提出了噪声锚定反向校正(NARC),一个无需训练的反演原语。NARC仅存储单个int8潜码锚点,并采用固定的、依赖于噪声水平的锚点权重调度:在反向轨迹受噪声主导时强锚定,当图像细节出现时放松锚定。在PIE-Bench++基准上使用Stable Diffusion 1.5,NARC超越了五种现代非精确基线,相比于PnP DirectInv,PSNR提高了3.24 dB,同时存储需求减少了约400倍。此外,这种压缩不对称性、锚点特异性以及编辑插件也能迁移到SDXL 1024²。该研究为扩散模型的反演提供了新的理论理解和实用方法,有望推动图像编辑、生成等应用的效率提升。

展开要点与分析

文章情报

研究者进阶

要点

  • 扩散噪声存在元素级压缩不对称性:int8全维度锚点可保真重建,而低维子空间摘要不可靠。
  • 反演过程具有轨迹绑定特性,需要匹配的前向锚点和训练好的分数网络共同作用。
  • 提出的NARC方法无需训练,在Stable Diffusion 1.5上以极低存储开销显著优于现有基线。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。