跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

PVRF:基於先驗調變和速度約束整流流的全能型惡劣天氣去除方法

文章摘要

提出PVRF統一框架,結合零樣本軟天氣感知與速度約束整流流最佳化,透過視覺語言模型估計天氣型別和屬性分數,引導恢復網路,在保真度和感知質量上超越現有方法,且跨資料集泛化能力強。

來源arXiv Computer Vision作者: Wei Dong, Han Zhou, Terry Ji, Guanhua Zhao, Shahab Asoodeh, Yulun Zhang, Guangtao Zhai, Jun Chen, Xiaohong Liu
PVRF:基於先驗調變和速度約束整流流的全能型惡劣天氣去除方法
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

現實世界中的影像常受到惡劣天氣(如雨、雪、霧等)的影響,導致影像質量下降。現有的去天氣方法往往針對單一退化型別設計,且基於失真驅動的訓練容易產生過於平滑的結果,缺乏感知質量。為此,研究人員提出了PVRF(Prior-modulated and Velocity-constrained Rectified Flow),一個統一的框架,整合了零樣本軟天氣感知與速度約束整流流最佳化。

PVRF的核心創新在於引入了針對惡劣天氣去除的問答模組(AWR-QA)。該模組利用凍結的視覺語言模型(VLM),無需額外標註即可估計天氣型別的軟機率以及低層屬性分數(如對比度、亮度等)。這些感知資訊透過屬性調變歸一化(AMN)和天氣加權介面卡(WWA)來調節恢復網路,生成一個錨定估計,用於後續的最佳化。

在最佳化階段,PVRF學習一個終端一致的殘差整流流。該整流流包含感知自適應源擾動和終端一致速度引數化,能夠穩定終端區域附近的學習過程,從而提升最終恢復質量。與傳統的擴散模型相比,整流流方法在取樣效率和效能上具有優勢。

大量實驗表明,PVRF在保真度和感知質量上均優於現有的最佳方法。在單一天氣退化(如雨、霧、雪)以及複合退化場景下,PVRF都展現了強大的跨資料集泛化能力。作者還計劃在GitHub上公開程式碼,以促進該領域的研究。

總之,PVRF透過結合視覺語言模型的先驗知識和整流流的最佳化能力,為惡劣天氣去除提供了一種高效且通用的解決方案。其零樣本感知機制降低了對標註資料的依賴,而速度約束的整流流則保證了高質量的恢復結果。

展開要點與分析

文章情報

工程師進階

要點

  • 採用凍結視覺語言模型實現零樣本天氣感知,無需額外標註
  • 屬性調變歸一化和天氣加權介面卡將感知資訊注入恢復網路
  • 終端一致性殘差整流流穩定學習過程,提升處理質量
  • 在多種單一天氣及複合退化場景下均表現優越

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。