跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

RealVDeblur:一步式擴散實現可泛化的真實世界影片去模糊

文章摘要

RealVDeblur是一種高效的生成框架,透過基於3D高斯潑濺的物理模糊合成管道生成逼真訓練資料,並利用影片擴散先驗和一步式擴散蒸餾,實現真實世界影片去模糊。該方法在未知影片上展現出強感知質量、語義保真度和時間一致性,並提升了嚴重運動模糊下下游3D重建的魯棒性。

來源arXiv Computer Vision作者: Renbiao Jin, Mingxin Yang, Yutian Chen, Junhao Zhuang, Xin Cai, Mulin Yu, Linning Xu, Wenxian Yu, Danping Zou, Shi Guo, Tianfan Xue
RealVDeblur:一步式擴散實現可泛化的真實世界影片去模糊
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

真實世界影片去模糊因運動模式多樣、退化複雜及訓練資料匱乏而極具挑戰。針對此問題,Renbiao Jin等人提出了RealVDeblur,一種高效的生成框架,旨在提升模型在不同真實拍攝條件下的魯棒性。

該方法首先構建了一個大規模、物理驅動的模糊合成管道。透過場景級3D高斯潑濺(3DGS)資產和高幀率影片,生成了覆蓋相機抖動和物體運動模糊的逼真訓練資料。該管道透過動態場景重建和高幀率取樣,能夠模擬各種複雜的運動模糊模式,彌補了現有資料集與實際模糊之間的差距,為模型提供了更豐富的學習訊號。與傳統合成方法相比,物理模糊合成管道生成的訓練資料具有更高的逼真度和多樣性,使得模型在真實場景中表現出更強的泛化能力。

在恢復階段,RealVDeblur利用了影片擴散先驗的強大生成能力。為了處理逐幀變化的模糊,方法停用了VAE中的時間壓縮,並採用逐幀編碼方案。這一設計避免了幀間資訊的混疊,保留了幀內的獨立細節,從而能夠更好地適應幀依賴的模糊變化。影片擴散先驗在潛在空間中進行迭代去噪,逐步恢復清晰的影片幀,同時保持全域性語義一致性。

針對長影片的實際部署需求,研究團隊透過知識蒸餾將多步擴散取樣過程壓縮為高效的一步生成器。這一蒸餾過程透過最小化教師模型(多步擴散)與學生模型(一步生成器)之間的輸出差異,使得學生模型能夠在極少的取樣步數內達到與教師模型相當的效能。此外,還引入了一種無需訓練的時間視窗掩碼(Temporal Window Mask),該掩碼透過在時間維度上應用滑動視窗策略,使得推理能夠在訓練時間範圍外穩定進行,同時保持恆定的記憶體佔用。這一創新使得RealVDeblur能夠高效處理任意長度的影片序列,而無需擔心記憶體溢位或效能下降。

實驗在多種真實世界基準上進行,包括戶外場景、手持攝影和快速運動等條件。結果顯示,RealVDeblur在未知影片上取得了顯著的感知質量、語義保真度和時間一致性。尤其在嚴重運動模糊場景下,該框架提升了下游3D重建的魯棒性,驗證了其在實際應用中的價值。程式碼和專案頁面已公開,可供研究者復現和進一步改進。未來,這一框架有望應用於移動成像、影片監控和增強現實等領域,推動真實世界影片處理技術的進步。

展開要點與分析

文章情報

工程師進階

要點

  • 利用3DGS和高幀率影片構建大規模物理逼真模糊合成管道。
  • 採用逐幀編碼的影片擴散先驗,無時間壓縮,適應幀依賴模糊變化。
  • 將多步擴散蒸餾為一步生成器,並引入免訓練時間視窗掩碼,實現高效長影片處理。
  • 在多個真實世界基準測試中表現優異,並改善了下游3D重建的魯棒性。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。