複数の研究機関の研究者らは、実環境でのビデオ影除去を目的とした新しいフレームワーク「WildShadowRemover」を提案しました。この研究は、複雑な照明、多様な影の外観、訓練データの不足といった実際のシナリオにおける課題を解決することを目指しています。
WildShadowRemoverは、事前学習済みのビデオ拡散モデルをベースとし、LoRA（Low-Rank Adaptation）微調整技術を用いて効率的に適応します。強力な生成事前情報を保持しつつ、細かい画像詳細を保存するために、凍結されたVAEデコーダに詳細注入モジュールを追加し、影マスクでガイドされる周波数分解変調モジュールを導入することで、高周波テクスチャを選択的に復元し、影アーティファクトを抑制します。さらに、Depth Anything 3による単眼深度事前情報を活用し、困難な照明条件下で幾何学的なガイダンスを提供します。
トレーニングと評価をサポートするため、研究チームは多様な合成シーンをカバーする大規模なペア型ビデオ影除去データセット「WildShadow」を構築しました。広範な実験により、WildShadowRemoverは影除去の品質と時間的一貫性において既存手法を上回り、時間的にコヒーレントで視覚的品質に優れた影除去ビデオを生成し、困難な実環境シナリオに対して強力な汎化能力を示すことが実証されました。これにより、ビデオ編集や拡張現実などの応用に新たな可能性が開かれます。