跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

RealVDeblur:一步式擴散實現可泛化的真實世界視頻去模糊

文章摘要

RealVDeblur是一種高效的生成框架,通過基於3D高斯潑濺的物理模糊合成管道生成逼真訓練數據,並利用視頻擴散先驗和一步式擴散蒸餾,實現真實世界視頻去模糊。該方法在未知視頻上展現出強感知質量、語義保真度和時間一致性,並提升了嚴重運動模糊下下游3D重建的魯棒性。

來源arXiv Computer Vision作者: Renbiao Jin, Mingxin Yang, Yutian Chen, Junhao Zhuang, Xin Cai, Mulin Yu, Linning Xu, Wenxian Yu, Danping Zou, Shi Guo, Tianfan Xue
RealVDeblur:一步式擴散實現可泛化的真實世界視頻去模糊
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

真實世界視頻去模糊因運動模式多樣、退化複雜及訓練數據匱乏而極具挑戰。針對此問題,Renbiao Jin等人提出了RealVDeblur,一種高效的生成框架,旨在提升模型在不同真實拍攝條件下的魯棒性。

該方法首先構建了一個大規模、物理驅動的模糊合成管道。通過場景級3D高斯潑濺(3DGS)資產和高幀率視頻,生成了覆蓋相機抖動和物體運動模糊的逼真訓練數據。該管道通過動態場景重建和高幀率採樣,能夠模擬各種複雜的運動模糊模式,彌補了現有數據集與實際模糊之間的差距,為模型提供了更豐富的學習信號。與傳統合成方法相比,物理模糊合成管道生成的訓練數據具有更高的逼真度和多樣性,使得模型在真實場景中表現出更強的泛化能力。

在恢復階段,RealVDeblur利用了視頻擴散先驗的強大生成能力。為了處理逐幀變化的模糊,方法禁用了VAE中的時間壓縮,並採用逐幀編碼方案。這一設計避免了幀間信息的混疊,保留了幀內的獨立細節,從而能夠更好地適應幀依賴的模糊變化。視頻擴散先驗在潛在空間中進行迭代去噪,逐步恢復清晰的視頻幀,同時保持全局語義一致性。

針對長視頻的實際部署需求,研究團隊通過知識蒸餾將多步擴散採樣過程壓縮為高效的一步生成器。這一蒸餾過程通過最小化教師模型(多步擴散)與學生模型(一步生成器)之間的輸出差異,使得學生模型能夠在極少的採樣步數內達到與教師模型相當的性能。此外,還引入了一種無需訓練的時間窗口掩碼(Temporal Window Mask),該掩碼通過在時間維度上應用滑動窗口策略,使得推理能夠在訓練時間範圍外穩定進行,同時保持恆定的內存佔用。這一創新使得RealVDeblur能夠高效處理任意長度的視頻序列,而無需擔心內存溢出或性能下降。

實驗在多種真實世界基準上進行,包括户外場景、手持攝影和快速運動等條件。結果顯示,RealVDeblur在未知視頻上取得了顯著的感知質量、語義保真度和時間一致性。尤其在嚴重運動模糊場景下,該框架提升了下游3D重建的魯棒性,驗證了其在實際應用中的價值。代碼和項目頁面已公開,可供研究者復現和進一步改進。未來,這一框架有望應用於移動成像、視頻監控和增強現實等領域,推動真實世界視頻處理技術的進步。

展開要點與分析

文章情報

工程師進階

要點

  • 利用3DGS和高幀率視頻構建大規模物理逼真模糊合成管道。
  • 採用逐幀編碼的視頻擴散先驗,無時間壓縮,適應幀依賴模糊變化。
  • 將多步擴散蒸餾為一步生成器,並引入免訓練時間窗口掩碼,實現高效長視頻處理。
  • 在多個真實世界基準測試中表現優異,並改善了下游3D重建的魯棒性。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。