跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

M2Retinexformer: 用於低光影像增強的多模態Retinexformer

文章摘要

M2Retinexformer是一種新型多模態低光影像增強框架,在Retinexformer基礎上融入深度、亮度和語義資訊,透過漸進式精煉管道和自適應門控機制提升效能。在LOL、SID、SMID和SDSD基準上優於現有方法。

來源arXiv Computer Vision作者: Youssef Aboelwafa, Hicham G. Elmongui, Marwan Torki
M2Retinexformer: 用於低光影像增強的多模態Retinexformer
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

低光影像增強是計算機視覺領域的一項基礎且具有挑戰性的任務。由於光照不足,影像往往遭受複雜的退化,包括放大噪聲、偽影和顏色失真。近年來,基於Retinex理論的深度學習方法取得了顯著進展,但大多數方法僅依賴於單模態RGB資訊,忽略了深度、亮度分佈和場景語義等關鍵幾何與語義線索。這些線索在複雜照明條件下對於影像恢復至關重要。

為了解決這一問題,來自Youssef Aboelwafa及其合作者的研究團隊提出了M2Retinexformer(多模態Retinexformer),這是一種創新的框架,在Retinexformer的基礎上整合了多模態資訊。該框架透過漸進式精煉管道,分別引入深度線索(提供與光照無關的幾何上下文)、亮度先驗(顯式指導亮度分佈)和語義特徵(輔助場景理解)。深度資訊來自深度估計網路,亮度先驗透過統計方法計算,語義特徵則利用預訓練的分割網路提取。這些模態資訊在多尺度下被提取,並透過交叉注意力機制進行融合。更重要的是,自適應門控模組會根據輔助線索的可靠性動態平衡照明引導的自注意力與交叉注意力,從而避免不可靠線索的負面影響。

在多個基準資料集上的實驗證明了M2Retinexformer的有效性。在LOL、SID、SMID和SDSD這四個廣泛使用的低光增強資料集上,該方法均取得了優於Retinexformer和當前最先進方法的效能。例如,在LOL資料集上,PSNR指標提升了0.8 dB以上,SSIM也有顯著改善。這些改進在視覺質量上表現為更清晰的細節、更自然的色彩和更少的噪聲。

此外,研究者提供了開原始碼和預訓練權重,便於其他研究者復現和進一步探索。論文已被2026年IEEE國際影像處理大會(ICIP)接收,這進一步證明了其學術價值。該工作不僅推動了低光影像增強技術的發展,也為其他需要多模態資訊的視覺任務提供了新思路。

展開要點與分析

文章情報

投資人進階

要點

  • 引入深度、亮度和語義多模態資訊,增強低光影像恢復。
  • 採用多尺度提取和交叉注意力融合,自適應平衡照明引導的注意力機制。
  • 在多個基準資料集上達到最先進效能。
  • 程式碼和預訓練權重已開源。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。