近日，來自多所機構的研究人員聯合提出了 WildShadowRemover，一種專門針對野外影片陰影去除的新型框架。該工作旨在解決實際應用中由於光照條件複雜、陰影外觀多樣以及訓練資料稀缺所帶來的難題。
WildShadowRemover 基於預訓練的影片擴散模型，並採用 LoRA（Low-Rank Adaptation）微調技術高效地將模型適配到陰影去除任務上。為了在保留模型強大生成先驗的同時維持影像細節，作者在凍結的 VAE 解碼器中引入了一個細節注入模組，並設計了一個陰影掩碼引導的頻率分解調變模組。該模組能夠選擇性地恢復高頻紋理資訊，同時抑制陰影偽影的產生。此外，為了進一步提升在困難光照條件下的效能，該方法還利用了 Depth Anything 3 提供的單目深度先驗，從而為模型提供幾何感知的指導資訊。
為了支援訓練和評估，研究團隊構建了 WildShadow，這是一個大規模的配對影片陰影去除資料集和基準，涵蓋了多種合成場景。大量的實驗結果表明，WildShadowRemover 在陰影去除質量和時間一致性方面均顯著優於現有的方法。它能夠生成時間上連貫的無陰影影片，具備出色的視覺質量和強大的泛化能力，適用於各種具有挑戰性的野外場景。這一突破為影片編輯、增強現實等應用提供了新的技術手段。