跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

SAGA:自迴歸視頻生成的穩定加速引導

文章摘要

本文提出SAGA,一種無需訓練的穩定加速引導方法,用於改善自迴歸視頻擴散中的時間不穩定問題。通過加速域譜引導和結構化噪聲初始化,有效減少閃爍和抖動,提升時間質量與圖像質量。

來源arXiv Computer Vision作者: Thanh-Nhan Vo, Trong-Thuan Nguyen, Trung-Hoang Le, Tam V. Nguyen, Minh-Triet Tran
SAGA:自迴歸視頻生成的穩定加速引導
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

自迴歸視頻擴散模型在視頻生成領域取得了顯著進展,其通過重複利用已生成的潛變量作為因果上下文,實現了高效的流式處理和長時程視頻生成。然而,這種自迴歸方式會不可避免地放大時間誤差,導致生成視頻出現閃爍、運動抖動和結構漂移等嚴重問題,極大影響了視頻的視覺質量和觀看體驗。針對這一挑戰,研究人員從頻譜運動學的視角進行了深入分析,發現離散的潛加速度信號能夠有效揭示不穩定的高頻時間擾動。基於這一發現,他們提出了一種名為SAGA(穩定加速引導)的創新方法,這是一種無需訓練的即插即用技術,可以廣泛應用於現有的分塊自迴歸擴散模型。

SAGA的核心技術包含兩個關鍵組成部分:一是基於有限窗口Slepian投影的加速域頻譜引導目標,這一設計通過頻譜分析精準地抑制了高頻干擾;二是結構化的自迴歸噪聲初始化策略,該策略在保持長程運動結構的同時有效抑制了短程時間相關性。值得注意的是,SAGA不需要任何重新訓練或修改模型主幹,因此可以直接集成到當前主流的高質量生成設置中,具有極高的實用價值。

實驗結果表明,SAGA在多個自迴歸擴散模型上都取得了顯著的時間質量提升。以Self-Forcing模型為例,SAGA將時間質量從97.30提升至97.91,圖像質量從69.60提升至70.51。此外,通過頻譜分析和人類偏好研究,研究者進一步證實了SAGA在保持視覺保真度的同時,有效減少了時間不穩定性。該研究為自迴歸視頻生成中的時間一致性問題提供了全新的解決思路,有望推動該領域在視頻生成質量和穩定性上的進一步發展。該論文於2026年7月9日提交至arXiv,作者包括Thanh-Nhan Vo等,論文編號為arXiv:2607.08020,歸屬於計算機視覺與模式識別領域。

展開要點與分析

文章情報

工程師進階

要點

  • 自迴歸視頻擴散在長期生成中容易出現時間誤差累積,導致閃爍和結構漂移。
  • SAGA通過加速域譜引導和噪聲初始化策略,無需重新訓練即可提升時間穩定性。
  • 實驗表明,SAGA在多個模型上均提升了時間質量和圖像質量。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。