本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

PVRF:事前変調と速度制約付き整流流によるオールインワン悪天候除去

記事の要約

ゼロショットソフトウェア知覚と速度制約付き整流流最適化を統合した統一フレームワークを提案。凍結視覚言語モデルを用いて天候タイプと属性スコアを推定し、復元ネットワークを誘導。既存手法を上回る忠実度と知覚品質を達成し、クロスデータセット汎化にも優れる。

ソースarXiv Computer Vision著者: Wei Dong, Han Zhou, Terry Ji, Guanhua Zhao, Shahab Asoodeh, Yulun Zhang, Guangtao Zhai, Jun Chen, Xiaohong Liu
PVRF:事前変調と速度制約付き整流流によるオールインワン悪天候除去
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

実世界の画像は、雨、雪、霧などの悪天候の影響を受けやすく、画質が低下することが多い。既存の天候除去手法は単一の劣化タイプに特化していることが多く、歪み駆動型の学習では結果が過度に平滑化され、知覚品質が損なわれる傾向がある。そこで、本研究ではPVRF(Prior-modulated and Velocity-constrained Rectified Flow)という統一フレームワークを提案する。これは、ゼロショットソフトウェア知覚と速度制約付き整流流最適化を統合したものである。

PVRFの核心は、悪天候除去専用の質問応答モジュール(AWR-QA)である。このモジュールは、凍結された視覚言語モデル(VLM)を利用して、天候タイプのソフト確率と低レベル属性スコア(コントラスト、明るさなど)を追加アノテーションなしで推定する。これらの知覚情報は、属性変調正規化(AMN)と天候重み付きアダプタ(WWA)を介して復元ネットワークを条件付け、最適化のためのアンカー推定を生成する。

最適化フェーズでは、PVRFは終端一貫残差整流流を学習する。この整流流は、知覚適応型ソース摂動と終端一貫速度パラメータ化を備えており、終端領域付近の学習を安定化し、最終的な復元品質を向上させる。従来の拡散モデルと比較して、整流流法はサンプリング効率と性能の点で利点がある。

広範な実験により、PVRFは忠実度と知覚品質の両方で既存の最先端手法を上回ることが示された。単一の天候劣化(雨、霧、雪など)および複合劣化のシナリオにおいて、PVRFは強力なクロスデータセット汎化能力を発揮する。著者らはコードをGitHubで公開する予定であり、この分野の研究を促進することが期待される。

まとめると、PVRFは視覚言語モデルの事前知識と整流流の最適化能力を組み合わせることで、悪天候除去のための効率的かつ汎用的なソリューションを提供する。そのゼロショット知覚メカニズムはラベル付きデータへの依存を減らし、速度制約付き整流流は高品質な復元結果を保証する。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 凍結視覚言語モデルによるゼロショット天候知覚(追加アノテーション不要)
  • 属性変調正規化と天候重み付きアダプタで知覚情報を復元ネットワークに注入
  • 終端一貫残差整流流が学習を安定化し品質を向上
  • 単一および複合劣化の両方で最先端を凌駕

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。