真實世界影片去模糊因運動模式多樣、退化複雜及訓練資料匱乏而極具挑戰。針對此問題,Renbiao Jin等人提出了RealVDeblur,一種高效的生成框架,旨在提升模型在不同真實拍攝條件下的魯棒性。
該方法首先構建了一個大規模、物理驅動的模糊合成管道。透過場景級3D高斯潑濺(3DGS)資產和高幀率影片,生成了覆蓋相機抖動和物體運動模糊的逼真訓練資料。該管道透過動態場景重建和高幀率取樣,能夠模擬各種複雜的運動模糊模式,彌補了現有資料集與實際模糊之間的差距,為模型提供了更豐富的學習訊號。與傳統合成方法相比,物理模糊合成管道生成的訓練資料具有更高的逼真度和多樣性,使得模型在真實場景中表現出更強的泛化能力。
在恢復階段,RealVDeblur利用了影片擴散先驗的強大生成能力。為了處理逐幀變化的模糊,方法停用了VAE中的時間壓縮,並採用逐幀編碼方案。這一設計避免了幀間資訊的混疊,保留了幀內的獨立細節,從而能夠更好地適應幀依賴的模糊變化。影片擴散先驗在潛在空間中進行迭代去噪,逐步恢復清晰的影片幀,同時保持全域性語義一致性。
針對長影片的實際部署需求,研究團隊透過知識蒸餾將多步擴散取樣過程壓縮為高效的一步生成器。這一蒸餾過程透過最小化教師模型(多步擴散)與學生模型(一步生成器)之間的輸出差異,使得學生模型能夠在極少的取樣步數內達到與教師模型相當的效能。此外,還引入了一種無需訓練的時間視窗掩碼(Temporal Window Mask),該掩碼透過在時間維度上應用滑動視窗策略,使得推理能夠在訓練時間範圍外穩定進行,同時保持恆定的記憶體佔用。這一創新使得RealVDeblur能夠高效處理任意長度的影片序列,而無需擔心記憶體溢位或效能下降。
實驗在多種真實世界基準上進行,包括戶外場景、手持攝影和快速運動等條件。結果顯示,RealVDeblur在未知影片上取得了顯著的感知質量、語義保真度和時間一致性。尤其在嚴重運動模糊場景下,該框架提升了下游3D重建的魯棒性,驗證了其在實際應用中的價值。程式碼和專案頁面已公開,可供研究者復現和進一步改進。未來,這一框架有望應用於移動成像、影片監控和增強現實等領域,推動真實世界影片處理技術的進步。