実世界の画像は、雨、雪、霧などの悪天候の影響を受けやすく、画質が低下することが多い。既存の天候除去手法は単一の劣化タイプに特化していることが多く、歪み駆動型の学習では結果が過度に平滑化され、知覚品質が損なわれる傾向がある。そこで、本研究ではPVRF(Prior-modulated and Velocity-constrained Rectified Flow)という統一フレームワークを提案する。これは、ゼロショットソフトウェア知覚と速度制約付き整流流最適化を統合したものである。
PVRFの核心は、悪天候除去専用の質問応答モジュール(AWR-QA)である。このモジュールは、凍結された視覚言語モデル(VLM)を利用して、天候タイプのソフト確率と低レベル属性スコア(コントラスト、明るさなど)を追加アノテーションなしで推定する。これらの知覚情報は、属性変調正規化(AMN)と天候重み付きアダプタ(WWA)を介して復元ネットワークを条件付け、最適化のためのアンカー推定を生成する。
最適化フェーズでは、PVRFは終端一貫残差整流流を学習する。この整流流は、知覚適応型ソース摂動と終端一貫速度パラメータ化を備えており、終端領域付近の学習を安定化し、最終的な復元品質を向上させる。従来の拡散モデルと比較して、整流流法はサンプリング効率と性能の点で利点がある。
広範な実験により、PVRFは忠実度と知覚品質の両方で既存の最先端手法を上回ることが示された。単一の天候劣化(雨、霧、雪など)および複合劣化のシナリオにおいて、PVRFは強力なクロスデータセット汎化能力を発揮する。著者らはコードをGitHubで公開する予定であり、この分野の研究を促進することが期待される。
まとめると、PVRFは視覚言語モデルの事前知識と整流流の最適化能力を組み合わせることで、悪天候除去のための効率的かつ汎用的なソリューションを提供する。そのゼロショット知覚メカニズムはラベル付きデータへの依存を減らし、速度制約付き整流流は高品質な復元結果を保証する。