跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

LowAux-RDNet:低通殘差監督與場景平衡的真實世界訓練用於單幅影像反射去除

文章摘要

提出LowAux-RDNet,在RDNet基礎上引入訓練專用的低通反射輔助目標(LowAux),透過低頻約束增強對多樣化反射分佈的平衡效能。結合RRW場景平衡的真實對,提升跨資料集泛化能力。在統一基準測試中,五資料集宏平均PSNR達27.546 dB,SSIM、NCC、LMSE均達到最優。

來源arXiv Computer Vision作者: Jizhong Li
LowAux-RDNet:低通殘差監督與場景平衡的真實世界訓練用於單幅影像反射去除
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

單幅影像反射去除是計算機視覺中的一個經典難題,旨在從透過玻璃拍攝的混合影像中分離出清晰的背景(透射層)。儘管現有方法在特定場景下表現良好,但面對多種反射型別(如弱反射、強反射、語義反射)時,往往難以保持均衡的效能。來自中國的研究團隊提出了一種名為LowAux-RDNet的新方法,透過引入訓練專用的低通反射輔助目標,顯著提升了模型在不同反射分佈下的魯棒性和泛化能力。

LowAux-RDNet基於RDNet架構,該架構採用顯式分解流水線將影像分解為反射層和透射層。創新之處在於LowAux——一個僅在訓練階段使用的低通反射輔助損失。傳統方法中,殘差目標直接監督反射層;而LowAux則對預測圖和目標圖進行對稱濾波,得到其低頻分量,從而為模型提供穩定的低頻約束。這種設計不僅保留了原始殘差監督的細節恢復能力,還引導模型關注全域性反射模式,減少對高頻噪聲的過度擬合。由於LowAux僅參與訓練,推理時無額外計算開銷。

為了彌補合成資料與真實世界之間的差距,團隊引入了RRW資料集中的場景平衡真實反射-透射對。RRW透過精心選擇涵蓋不同場景和反射強度的影像對,有效拓寬了訓練資料的真實場景覆蓋範圍,提升了模型在跨資料集上的泛化表現。

在評估方面,以往研究中因模型專屬的預處理(縮放、填充、輸出量化)和度量程式碼差異導致比較不公平。為此,團隊構建了一個統一的公開基準,包含CEILNet、Real20、Postcard、Objects和Wild五個常用資料集。基於相同評估器,LowAux-RDNet取得了五個資料集的宏平均PSNR為27.546 dB、SSIM為0.9220、NCC為0.9751、LMSE為0.004760,在所有比較的公開模型和內部變體中均達到最優。逐資料集和定性分析表明,該方法的主要優勢在於跨反射分佈的更平衡效能。不過,對於Postcard資料集中包含清晰語義反射(如文字、圖案)的複雜情況,仍存在改善空間。

論文程式碼已公開,為後續研究提供了可復現的基準。這一工作不僅推動了反射去除技術的實用化,也為評估標準化樹立了範例。

展開要點與分析

文章情報

投資人進階

要點

  • 引入LowAux,一種僅用於訓練的低通反射輔助損失,與原始殘差監督協同工作。
  • 採用RRW資料集中的場景平衡真實對,增強真實場景覆蓋和跨資料集泛化。
  • 構建統一基準評估協議,避免模型定製預處理和評估程式碼差異。
  • 在五個資料集上取得宏平均PSNR 27.546 dB、SSIM 0.9220、NCC 0.9751和LMSE 0.004760,綜合效能領先。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。