低照度画像強調は、コンピュータビジョンにおける基本的かつ困難な課題です。照明不足により、画像はノイズ増幅、アーティファクト、色歪みなどの複雑な劣化を受けます。近年、Retinex理論に基づく深層学習手法は有望な結果を示していますが、これらの手法のほとんどは単一モダリティのRGB情報に依存しており、深度、輝度分布、シーンセマンティクスといった幾何学的・意味的な手がかりを無視しています。これらの手がかりは、複雑な照明条件下での画像復元に重要です。
この問題に対処するため、Youssef Aboelwafa氏とその共同研究者らは、M2Retinexformer（マルチモーダルRetinexformer）を提案しました。これは、Retinexformerを拡張し、深度手がかり（照明変動に不変な幾何学的コンテキスト）、輝度事前分布（輝度分布の明示的ガイダンス）、セマンティック特徴（シーン理解の補助）を段階的精製パイプラインに統合する新しいフレームワークです。深度情報は深度推定ネットワークから、輝度事前分布は統計的手法で計算され、セマンティック特徴は事前訓練されたセグメンテーションネットワークから抽出されます。これらのモダリティはマルチスケールで抽出され、クロスアテンション機構によって融合されます。さらに、適応的ゲーティングモジュールは、補助手がかりの信頼性に基づいて照明誘導型セルフアテンションとクロスアテンションを動的にバランスさせ、信頼性の低い手がかりの悪影響を防ぎます。
複数のベンチマークデータセットでの実験により、M2Retinexformerの有効性が実証されました。LOL、SID、SMID、SDSDの4つの広く使用されている低照度強調データセットにおいて、本手法はRetinexformerや最近の最先端手法を上回る性能を達成しました。例えば、LOLデータセットではPSNR指标が0.8 dB以上向上し、SSIMも顕著に改善されました。これらの改善は、より鮮明な詳細、自然な色、少ないノイズとして視覚的品質に現れています。
さらに、研究者はコードと事前訓練済み重みを公開しており、他の研究者が再現し、さらなる探求を行うことができます。本論文は2026年IEEE International Conference on Image Processing (ICIP)に採択されており、その学術的価値が認められています。この研究は、低照度画像強調技術を推進するだけでなく、他のマルチモーダル情報を必要とするビジョンタスクにも新たな洞察を提供します。