LightCrafter：基于物理渲染条件视频扩散精化的可控且一致重照明技术
LightCrafter是一种新的视频重照明混合流水线，通过将重照明任务转化为对物理渲染代理视频的视频翻译，结合扩散模型与物理渲染优势，实现了对长视频的高时间一致性且精细光照控制，在现有基准上超越先前最优，并计划公开数据集和代码。
来源arXiv Computer Vision作者: Zixin Guo, Yehonathan Litman, Yifeng He, John Miller, Chuhan Chen, Deva Ramanan
视频重照明是计算机图形学和视觉领域的重要任务，旨在改变视频中物体的光照条件，同时保持时间一致性。现有方法主要面临两大挑战：一是基于物理的逆渲染方法受限于噪声和难以建模全局照明等复杂效果；二是基于扩散模型的生成式方法难以处理长视频的时间稳定性，且受限于训练数据。为此，研究人员提出了LightCrafter，一种创新的混合流水线，将重照明任务转化为对物理渲染代理视频的翻译。
LightCrafter的核心思想是：不直接对输入视频进行重照明，而是先使用基于物理的渲染（PBR）生成输入视频在目标光照下的代理视频，然后利用扩散模型将代理视频翻译为最终结果。这种方法巧妙地将光照控制嵌入PBR代理中，避免了扩散模型需要理解环境贴图等复杂光照概念，同时自然实现了长视频的时间一致性。实验表明，仅使用PBR渲染结果已经优于部分先前方法，但在全局照明等效果上存在不足。为了弥补这一缺陷，团队通过在合成和真实视频对上后训练CogVideoX视频生成模型，充分利用了模型中的光度先验，从而捕捉了更丰富的照明效果。
在真实世界的重照明基准测试中，LightCrafter超越了现有的最优方法。此外，该工作还贡献了一个合成基准，便于进一步分析和比较。研究人员计划公开数据集、基准、评估指标和代码，以促进该领域的后续研究。这一方法为视频重照明提供了新的思路，结合了物理渲染的准确性和扩散模型的生成能力，有望在电影制作、虚拟现实、增强现实等领域发挥重要作用。