跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

LowAux-RDNet:低通殘差監督與場景平衡的真實世界訓練用於單幅圖像反射去除

文章摘要

提出LowAux-RDNet,在RDNet基礎上引入訓練專用的低通反射輔助目標(LowAux),通過低頻約束增強對多樣化反射分佈的平衡性能。結合RRW場景平衡的真實對,提升跨數據集泛化能力。在統一基準測試中,五數據集宏平均PSNR達27.546 dB,SSIM、NCC、LMSE均達到最優。

來源arXiv Computer Vision作者: Jizhong Li
LowAux-RDNet:低通殘差監督與場景平衡的真實世界訓練用於單幅圖像反射去除
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

單幅圖像反射去除是計算機視覺中的一個經典難題,旨在從透過玻璃拍攝的混合圖像中分離出清晰的背景(透射層)。儘管現有方法在特定場景下表現良好,但面對多種反射類型(如弱反射、強反射、語義反射)時,往往難以保持均衡的性能。來自中國的研究團隊提出了一種名為LowAux-RDNet的新方法,通過引入訓練專用的低通反射輔助目標,顯著提升了模型在不同反射分佈下的魯棒性和泛化能力。

LowAux-RDNet基於RDNet架構,該架構採用顯式分解流水線將圖像分解為反射層和透射層。創新之處在於LowAux——一個僅在訓練階段使用的低通反射輔助損失。傳統方法中,殘差目標直接監督反射層;而LowAux則對預測圖和目標圖進行對稱濾波,得到其低頻分量,從而為模型提供穩定的低頻約束。這種設計不僅保留了原始殘差監督的細節恢復能力,還引導模型關注全局反射模式,減少對高頻噪聲的過度擬合。由於LowAux僅參與訓練,推理時無額外計算開銷。

為了彌補合成數據與真實世界之間的差距,團隊引入了RRW數據集中的場景平衡真實反射-透射對。RRW通過精心選擇涵蓋不同場景和反射強度的圖像對,有效拓寬了訓練數據的真實場景覆蓋範圍,提升了模型在跨數據集上的泛化表現。

在評估方面,以往研究中因模型專屬的預處理(縮放、填充、輸出量化)和度量代碼差異導致比較不公平。為此,團隊構建了一個統一的公開基準,包含CEILNet、Real20、Postcard、Objects和Wild五個常用數據集。基於相同評估器,LowAux-RDNet取得了五個數據集的宏平均PSNR為27.546 dB、SSIM為0.9220、NCC為0.9751、LMSE為0.004760,在所有比較的公開模型和內部變體中均達到最優。逐數據集和定性分析表明,該方法的主要優勢在於跨反射分佈的更平衡性能。不過,對於Postcard數據集中包含清晰語義反射(如文字、圖案)的複雜情況,仍存在改善空間。

論文代碼已公開,為後續研究提供了可復現的基準。這一工作不僅推動了反射去除技術的實用化,也為評估標準化樹立了範例。

展開要點與分析

文章情報

投資人進階

要點

  • 引入LowAux,一種僅用於訓練的低通反射輔助損失,與原始殘差監督協同工作。
  • 採用RRW數據集中的場景平衡真實對,增強真實場景覆蓋和跨數據集泛化。
  • 構建統一基準評估協議,避免模型定製預處理和評估代碼差異。
  • 在五個數據集上取得宏平均PSNR 27.546 dB、SSIM 0.9220、NCC 0.9751和LMSE 0.004760,綜合性能領先。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。