真實世界視頻去模糊因運動模式多樣、退化複雜及訓練數據匱乏而極具挑戰。針對此問題,Renbiao Jin等人提出了RealVDeblur,一種高效的生成框架,旨在提升模型在不同真實拍攝條件下的魯棒性。
該方法首先構建了一個大規模、物理驅動的模糊合成管道。通過場景級3D高斯潑濺(3DGS)資產和高幀率視頻,生成了覆蓋相機抖動和物體運動模糊的逼真訓練數據。該管道通過動態場景重建和高幀率採樣,能夠模擬各種複雜的運動模糊模式,彌補了現有數據集與實際模糊之間的差距,為模型提供了更豐富的學習信號。與傳統合成方法相比,物理模糊合成管道生成的訓練數據具有更高的逼真度和多樣性,使得模型在真實場景中表現出更強的泛化能力。
在恢復階段,RealVDeblur利用了視頻擴散先驗的強大生成能力。為了處理逐幀變化的模糊,方法禁用了VAE中的時間壓縮,並採用逐幀編碼方案。這一設計避免了幀間信息的混疊,保留了幀內的獨立細節,從而能夠更好地適應幀依賴的模糊變化。視頻擴散先驗在潛在空間中進行迭代去噪,逐步恢復清晰的視頻幀,同時保持全局語義一致性。
針對長視頻的實際部署需求,研究團隊通過知識蒸餾將多步擴散採樣過程壓縮為高效的一步生成器。這一蒸餾過程通過最小化教師模型(多步擴散)與學生模型(一步生成器)之間的輸出差異,使得學生模型能夠在極少的採樣步數內達到與教師模型相當的性能。此外,還引入了一種無需訓練的時間窗口掩碼(Temporal Window Mask),該掩碼通過在時間維度上應用滑動窗口策略,使得推理能夠在訓練時間範圍外穩定進行,同時保持恆定的內存佔用。這一創新使得RealVDeblur能夠高效處理任意長度的視頻序列,而無需擔心內存溢出或性能下降。
實驗在多種真實世界基準上進行,包括户外場景、手持攝影和快速運動等條件。結果顯示,RealVDeblur在未知視頻上取得了顯著的感知質量、語義保真度和時間一致性。尤其在嚴重運動模糊場景下,該框架提升了下游3D重建的魯棒性,驗證了其在實際應用中的價值。代碼和項目頁面已公開,可供研究者復現和進一步改進。未來,這一框架有望應用於移動成像、視頻監控和增強現實等領域,推動真實世界視頻處理技術的進步。