室内场景重照明要求照片级真实感、精确的空间控制以及严格的多视角一致性。尽管基于扩散模型的图像编辑工具可以通过文本提示实现语义光照调整,但精确指定三维光源位置往往会破坏模型的生成先验,导致不自然的结果。针对这一难题,Chenjian Gao 等人提出了 Lume-Palette 框架,一种渐进式的解决方案,通过分离光照先验来达成空间可控的多视角室内重照明。
Lume-Palette 将重照明过程分解为两个阶段:照明蒸馏和照明投射。在照明蒸馏阶段,模型从一个预训练的扩散模型中提取规范的照明调色板,这些调色板保留了真实的材质与光照相互作用。这样,模型能够理解不同材质在不同光照下的表现,而无需从头学习。照明投射阶段则利用粗略的3D几何信息,将目标空间照明条件显式地映射到场景中,实现对光照位置的精确控制。
为了高效处理密集的多视角和多模态输入(如RGB图像、深度图等),研究者引入了一种非对称多视角条件策略。该策略选择性地注入关键的空间上下文信息,避免了冗余计算,同时保证了各个视角之间的一致性。
实验在多种合成场景和真实世界场景上进行,结果表明Lume-Palette能够生成照片级真实、空间可控且多视角一致的重照明结果。与现有方法相比,Lume-Palette在保持材质细节和光照效果的同时,显著提升了对光源位置的控制精度。该项目已在GitHub上开源,并提供了在线演示。