室內場景重照明要求照片級真實感、精確的空間控制以及嚴格的多視角一致性。儘管基於擴散模型的圖像編輯工具可以通過文本提示實現語義光照調整,但精確指定三維光源位置往往會破壞模型的生成先驗,導致不自然的結果。針對這一難題,Chenjian Gao 等人提出了 Lume-Palette 框架,一種漸進式的解決方案,通過分離光照先驗來達成空間可控的多視角室內重照明。
Lume-Palette 將重照明過程分解為兩個階段:照明蒸餾和照明投射。在照明蒸餾階段,模型從一個預訓練的擴散模型中提取規範的照明調色板,這些調色板保留了真實的材質與光照相互作用。這樣,模型能夠理解不同材質在不同光照下的表現,而無需從頭學習。照明投射階段則利用粗略的3D幾何信息,將目標空間照明條件顯式地映射到場景中,實現對光照位置的精確控制。
為了高效處理密集的多視角和多模態輸入(如RGB圖像、深度圖等),研究者引入了一種非對稱多視角條件策略。該策略選擇性地注入關鍵的空間上下文信息,避免了冗餘計算,同時保證了各個視角之間的一致性。
實驗在多種合成場景和真實世界場景上進行,結果表明Lume-Palette能夠生成照片級真實、空間可控且多視角一致的重照明結果。與現有方法相比,Lume-Palette在保持材質細節和光照效果的同時,顯著提升了對光源位置的控制精度。該項目已在GitHub上開源,並提供了在線演示。