跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

GS-RealBlur:一種用於真實世界影像去模糊的靈活資料採集框架

文章摘要

GS-RealBlur是一種新穎的資料採集框架,能夠以靈活的方式獲取真實模糊-清晰影像對,用於訓練影像去模糊模型。它使用手持相機拍攝模糊影像,用雲臺密集拍攝清晰影像,重建3D場景表示,並透過模糊感知姿態精化模組最佳化相機姿態。基於GS-RealBlur資料集訓練的模型在多個基準測試中均優於現有合成和真實資料集訓練的模型。

來源arXiv Computer Vision作者: Mingyang Chen, Zhilu Zhang, Honglei Xu, Renlong Wu, Xiaohe Wu, Wangmeng Zuo
GS-RealBlur:一種用於真實世界影像去模糊的靈活資料採集框架
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

影像去模糊是計算機視覺中的經典問題,高質量的成對模糊-清晰影像資料對於訓練基於學習的去模糊模型至關重要。然而,合成模糊影像往往缺乏真實感,而真實世界捕獲的影像對則需要複雜且不靈活的相機系統。針對這一矛盾,來自多所機構的研究人員提出了GS-RealBlur框架,在保證模糊真實性的同時實現了資料採集的靈活性。

GS-RealBlur的核心思路是分步採集:使用手持相機拍攝模糊影像,同時利用雲臺對該場景進行密集的清晰影像捕獲。隨後,從一系列清晰影像中重建出場景的3D表示,並將每一幀模糊影像的相機姿態在該3D空間中進行標定。根據姿態從3D表示中渲染出的影像即為對應的清晰參考影像。為了進一步提升渲染影像與模糊影像的對齊精度,研究團隊引入了模糊感知姿態精化模組(BPR),透過外觀一致性和質心對齊約束最佳化姿態估計。該模組能夠有效減少由於模糊導致的姿態誤差,從而生成更準確的清晰參考影像。

基於GS-RealBlur框架,研究人員構建了一個高質量、多樣化的資料集,包含多種場景和運動模式。大量實驗表明,在該資料集上訓練的去模糊模型在多個真實世界去模糊基準上均取得了出色的泛化效能,一致優於在現有合成或真實資料集上訓練的模型。該框架的程式碼和資料集將公開發布,為影像去模糊領域的研究提供了新的有力工具。研究者認為,GS-RealBlur不僅解決了資料採集的靈活性難題,還提升了模型的泛化能力,有望推動影像去模糊技術的實際應用。

展開要點與分析

文章情報

工程師進階

要點

  • GS-RealBlur結合手持相機和雲臺相機,捕獲真實的模糊-清晰影像對。
  • 從清晰影像構建3D場景表示,並透過姿態校準對齊模糊幀。
  • 模糊感知姿態精化模組利用外觀一致性和質心約束改進對齊。
  • 在GS-RealBlur上訓練的去模糊模型在真實世界基準測試中展現出更優的泛化能力。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。