本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

LowAux-RDNet: 単一画像反射除去のためのローパス残差監視とシーンバランスの取れた実世界訓練

記事の要約

RDNet上に訓練専用のローパス反射補助目的(LowAux)を導入し、低周波制約により多様な反射分布に対するバランスの取れた性能を実現。RRWからのシーンバランスの取れた実ペアを統合し、クロスデータセットの汎化を改善。5つのデータセットの統一ベンチマークでマクロ平均PSNR 27.546 dBを達成し、SSIM、NCC、LMSEすべてで最先端。

ソースarXiv Computer Vision著者: Jizhong Li
LowAux-RDNet: 単一画像反射除去のためのローパス残差監視とシーンバランスの取れた実世界訓練
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

単一画像反射除去は、ガラス越しに撮影された画像からクリーンな透過層を復元するコンピュータビジョンにおける古典的な課題です。既存手法は特定のシーンでは良好な結果を示すものの、多様な反射分布(弱反射、強反射、意味的反射など)に対してバランスの取れた性能を維持することが困難でした。中国の研究チームは、訓練専用のローパス反射補助目的を導入したLowAux-RDNetを提案し、この問題に取り組みました。

LowAux-RDNetはRDNetアーキテクチャに基づいており、画像を反射層と透過層に明示的に分解します。革新点は、訓練段階でのみ使用されるローパス反射補助損失(LowAux)です。従来の残差ターゲットは反射層の主監視として機能し、LowAuxは対称フィルタリングされた予測とターゲットの低周波成分を提供することで、安定した低周波制約を課します。これにより、モデルは高周波ノイズではなくグローバルな反射パターンに注目し、詳細復元能力を維持しながら過学習を防ぎます。LowAuxは推論時には不要であるため、計算コストを増加させません。

実世界の性能を向上させるため、チームはRRWデータセットからシーンバランスの取れた実反射-透過ペアを統合しました。RRWは異なるシーンと反射強度をカバーするペアを厳選し、合成データと実世界の分布シフトを補います。

評価の公平性を確保するため、CEILNet、Real20、Postcard、Objects、Wildの5つのデータセットからなる統一ベンチマークを構築しました。同じ評価器の下で、LowAux-RDNetはマクロ平均PSNR 27.546 dB、SSIM 0.9220、NCC 0.9751、LMSE 0.004760を達成し、比較した公開チェックポイントと内部変種の中で最良の結果を示しました。データセットごとの分析によれば、主な利点は多様な反射分布に対するバランスの取れた性能ですが、Postcardデータセットの明確な意味的反射には依然として課題が残ります。

コードは公開されており、再現可能なベンチマークを提供しています。

要点と分析を開く

記事インテリジェンス

投資家上級

要点

  • 訓練専用のローパス反射補助損失(LowAux)を導入し、元の残差監視を補完。
  • RRWデータセットのシーンバランス実ペアを利用し、実シーンカバレッジとクロスデータセット汎化を向上。
  • モデル固有の前処理や評価コードの不一致を避けるため、統一ベンチマークを構築。
  • 5データセットのマクロ平均PSNR 27.546 dB、SSIM 0.9220、NCC 0.9751、LMSE 0.004760を達成。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。