近日，來自多所機構的研究人員聯合提出了 WildShadowRemover，一種專門針對野外視頻陰影去除的新型框架。該工作旨在解決實際應用中由於光照條件複雜、陰影外觀多樣以及訓練數據稀缺所帶來的難題。
WildShadowRemover 基於預訓練的視頻擴散模型，並採用 LoRA（Low-Rank Adaptation）微調技術高效地將模型適配到陰影去除任務上。為了在保留模型強大生成先驗的同時維持圖像細節，作者在凍結的 VAE 解碼器中引入了一個細節注入模塊，並設計了一個陰影掩碼引導的頻率分解調製模塊。該模塊能夠選擇性地恢復高頻紋理信息，同時抑制陰影偽影的產生。此外，為了進一步提升在困難光照條件下的性能，該方法還利用了 Depth Anything 3 提供的單目深度先驗，從而為模型提供幾何感知的指導信息。
為了支持訓練和評估，研究團隊構建了 WildShadow，這是一個大規模的配對視頻陰影去除數據集和基準，涵蓋了多種合成場景。大量的實驗結果表明，WildShadowRemover 在陰影去除質量和時間一致性方面均顯著優於現有的方法。它能夠生成時間上連貫的無陰影視頻，具備出色的視覺質量和強大的泛化能力，適用於各種具有挑戰性的野外場景。這一突破為視頻編輯、增強現實等應用提供了新的技術手段。