跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

SAGA:自回归视频生成的稳定加速引导

文章摘要

本文提出SAGA,一种无需训练的稳定加速引导方法,用于改善自回归视频扩散中的时间不稳定问题。通过加速域谱引导和结构化噪声初始化,有效减少闪烁和抖动,提升时间质量与图像质量。

来源arXiv Computer Vision作者: Thanh-Nhan Vo, Trong-Thuan Nguyen, Trung-Hoang Le, Tam V. Nguyen, Minh-Triet Tran
SAGA:自回归视频生成的稳定加速引导
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

自回归视频扩散模型在视频生成领域取得了显著进展,其通过重复利用已生成的潜变量作为因果上下文,实现了高效的流式处理和长时程视频生成。然而,这种自回归方式会不可避免地放大时间误差,导致生成视频出现闪烁、运动抖动和结构漂移等严重问题,极大影响了视频的视觉质量和观看体验。针对这一挑战,研究人员从频谱运动学的视角进行了深入分析,发现离散的潜加速度信号能够有效揭示不稳定的高频时间扰动。基于这一发现,他们提出了一种名为SAGA(稳定加速引导)的创新方法,这是一种无需训练的即插即用技术,可以广泛应用于现有的分块自回归扩散模型。

SAGA的核心技术包含两个关键组成部分:一是基于有限窗口Slepian投影的加速域频谱引导目标,这一设计通过频谱分析精准地抑制了高频干扰;二是结构化的自回归噪声初始化策略,该策略在保持长程运动结构的同时有效抑制了短程时间相关性。值得注意的是,SAGA不需要任何重新训练或修改模型主干,因此可以直接集成到当前主流的高质量生成设置中,具有极高的实用价值。

实验结果表明,SAGA在多个自回归扩散模型上都取得了显著的时间质量提升。以Self-Forcing模型为例,SAGA将时间质量从97.30提升至97.91,图像质量从69.60提升至70.51。此外,通过频谱分析和人类偏好研究,研究者进一步证实了SAGA在保持视觉保真度的同时,有效减少了时间不稳定性。该研究为自回归视频生成中的时间一致性问题提供了全新的解决思路,有望推动该领域在视频生成质量和稳定性上的进一步发展。该论文于2026年7月9日提交至arXiv,作者包括Thanh-Nhan Vo等,论文编号为arXiv:2607.08020,归属于计算机视觉与模式识别领域。

展开要点与分析

文章情报

工程师进阶

要点

  • 自回归视频扩散在长期生成中容易出现时间误差累积,导致闪烁和结构漂移。
  • SAGA通过加速域谱引导和噪声初始化策略,无需重新训练即可提升时间稳定性。
  • 实验表明,SAGA在多个模型上均提升了时间质量和图像质量。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。