WildShadowRemover: 通过细节保持视频扩散模型实现野外视频阴影去除
野外视频阴影去除由于光照复杂、阴影多样以及训练数据有限而具有挑战性。WildShadowRemover 采用预训练视频扩散模型，通过 LoRA 微调，引入细节注入和频率分解调制模块，并利用单目深度先验，在阴影去除质量和时间一致性上优于现有方法。
来源arXiv Computer Vision作者: Jiamin Xu, Cong Wang, Zheng Dong, Chi Wang, Renshu Gu, Weiwei Xu, Gang Xu
近日，来自多所机构的研究人员联合提出了 WildShadowRemover，一种专门针对野外视频阴影去除的新型框架。该工作旨在解決实际应用中由于光照条件复杂、阴影外观多样以及训练数据稀缺所带来的难题。
WildShadowRemover 基于预训练的视频扩散模型，并采用 LoRA（Low-Rank Adaptation）微调技术高效地将模型适配到阴影去除任务上。为了在保留模型强大生成先验的同时维持图像细节，作者在冻结的 VAE 解码器中引入了一个细节注入模块，并设计了一个阴影掩码引导的频率分解调制模块。该模块能够选择性地恢复高频纹理信息，同时抑制阴影伪影的产生。此外，为了进一步提升在困难光照条件下的性能，该方法还利用了 Depth Anything 3 提供的单目深度先验，从而为模型提供几何感知的指导信息。
为了支持训练和评估，研究团队构建了 WildShadow，这是一个大规模的配对视频阴影去除数据集和基准，涵盖了多种合成场景。大量的实验结果表明，WildShadowRemover 在阴影去除质量和时间一致性方面均显著优于现有的方法。它能够生成时间上连贯的无阴影视频，具备出色的视觉质量和强大的泛化能力，适用于各种具有挑战性的野外场景。这一突破为视频编辑、增强现实等应用提供了新的技术手段。