LightCrafter：基於物理渲染條件視頻擴散精化的可控且一致重照明技術
LightCrafter是一種新的視頻重照明混合流水線，通過將重照明任務轉化為對物理渲染代理視頻的視頻翻譯，結合擴散模型與物理渲染優勢，實現了對長視頻的高時間一致性且精細光照控制，在現有基準上超越先前最優，並計劃公開數據集和代碼。
來源arXiv Computer Vision作者: Zixin Guo, Yehonathan Litman, Yifeng He, John Miller, Chuhan Chen, Deva Ramanan
視頻重照明是計算機圖形學和視覺領域的重要任務，旨在改變視頻中物體的光照條件，同時保持時間一致性。現有方法主要面臨兩大挑戰：一是基於物理的逆渲染方法受限於噪聲和難以建模全局照明等複雜效果；二是基於擴散模型的生成式方法難以處理長視頻的時間穩定性，且受限於訓練數據。為此，研究人員提出了LightCrafter，一種創新的混合流水線，將重照明任務轉化為對物理渲染代理視頻的翻譯。
LightCrafter的核心思想是：不直接對輸入視頻進行重照明，而是先使用基於物理的渲染（PBR）生成輸入視頻在目標光照下的代理視頻，然後利用擴散模型將代理視頻翻譯為最終結果。這種方法巧妙地將光照控制嵌入PBR代理中，避免了擴散模型需要理解環境貼圖等複雜光照概念，同時自然實現了長視頻的時間一致性。實驗表明，僅使用PBR渲染結果已經優於部分先前方法，但在全局照明等效果上存在不足。為了彌補這一缺陷，團隊通過在合成和真實視頻對上後訓練CogVideoX視頻生成模型，充分利用了模型中的光度先驗，從而捕捉了更豐富的照明效果。
在真實世界的重照明基準測試中，LightCrafter超越了現有的最優方法。此外，該工作還貢獻了一個合成基準，便於進一步分析和比較。研究人員計劃公開數據集、基準、評估指標和代碼，以促進該領域的後續研究。這一方法為視頻重照明提供了新的思路，結合了物理渲染的準確性和擴散模型的生成能力，有望在電影製作、虛擬現實、增強現實等領域發揮重要作用。