LightCrafter：基於物理渲染條件影片擴散精化的可控且一致重照明技術
LightCrafter是一種新的影片重照明混合流水線，透過將重照明任務轉化為對物理渲染代理影片的影片翻譯，結合擴散模型與物理渲染優勢，實現了對長影片的高時間一致性且精細光照控制，在現有基準上超越先前最優，並計劃公開資料集和程式碼。
來源arXiv Computer Vision作者: Zixin Guo, Yehonathan Litman, Yifeng He, John Miller, Chuhan Chen, Deva Ramanan
影片重照明是計算機圖形學和視覺領域的重要任務，旨在改變影片中物體的光照條件，同時保持時間一致性。現有方法主要面臨兩大挑戰：一是基於物理的逆渲染方法受限於噪聲和難以建模全域性照明等複雜效果；二是基於擴散模型的生成式方法難以處理長影片的時間穩定性，且受限於訓練資料。為此，研究人員提出了LightCrafter，一種創新的混合流水線，將重照明任務轉化為對物理渲染代理影片的翻譯。
LightCrafter的核心思想是：不直接對輸入影片進行重照明，而是先使用基於物理的渲染（PBR）生成輸入影片在目標光照下的代理影片，然後利用擴散模型將代理影片翻譯為最終結果。這種方法巧妙地將光照控制嵌入PBR代理中，避免了擴散模型需要理解環境貼圖等複雜光照概念，同時自然實現了長影片的時間一致性。實驗表明，僅使用PBR渲染結果已經優於部分先前方法，但在全域性照明等效果上存在不足。為了彌補這一缺陷，團隊透過在合成和真實影片對上後訓練CogVideoX影片生成模型，充分利用了模型中的光度先驗，從而捕捉了更豐富的照明效果。
在真實世界的重照明基準測試中，LightCrafter超越了現有的最優方法。此外，該工作還貢獻了一個合成基準，便於進一步分析和比較。研究人員計劃公開資料集、基準、評估指標和程式碼，以促進該領域的後續研究。這一方法為影片重照明提供了新的思路，結合了物理渲染的準確性和擴散模型的生成能力，有望在電影製作、虛擬現實、增強現實等領域發揮重要作用。