跳到主要内容
AI News HubLIVE
更多
站内改写1 分钟阅读

用于空间可控多视角室内场景重照明的解耦照明先验

文章摘要

Lume-Palette框架通过解耦照明蒸馏和照明投射两个阶段,实现了空间可控的多视角室内场景重照明,在保持多视角一致性的同时支持精细的3D光照控制。

来源arXiv Computer Vision作者: Chenjian Gao, Linning Xu, Tianfan Xue
用于空间可控多视角室内场景重照明的解耦照明先验
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

室内场景重照明要求照片级真实感、精确的空间控制以及严格的多视角一致性。尽管基于扩散模型的图像编辑工具可以通过文本提示实现语义光照调整,但精确指定三维光源位置往往会破坏模型的生成先验,导致不自然的结果。针对这一难题,Chenjian Gao 等人提出了 Lume-Palette 框架,一种渐进式的解决方案,通过分离光照先验来达成空间可控的多视角室内重照明。

Lume-Palette 将重照明过程分解为两个阶段:照明蒸馏和照明投射。在照明蒸馏阶段,模型从一个预训练的扩散模型中提取规范的照明调色板,这些调色板保留了真实的材质与光照相互作用。这样,模型能够理解不同材质在不同光照下的表现,而无需从头学习。照明投射阶段则利用粗略的3D几何信息,将目标空间照明条件显式地映射到场景中,实现对光照位置的精确控制。

为了高效处理密集的多视角和多模态输入(如RGB图像、深度图等),研究者引入了一种非对称多视角条件策略。该策略选择性地注入关键的空间上下文信息,避免了冗余计算,同时保证了各个视角之间的一致性。

实验在多种合成场景和真实世界场景上进行,结果表明Lume-Palette能够生成照片级真实、空间可控且多视角一致的重照明结果。与现有方法相比,Lume-Palette在保持材质细节和光照效果的同时,显著提升了对光源位置的控制精度。该项目已在GitHub上开源,并提供了在线演示。

展开要点与分析

文章情报

工程师进阶

要点

  • 提出Lume-Palette框架,将重照明解耦为照明蒸馏和照明投射两阶段。
  • 照明蒸馏从预训练扩散模型中提取规范照明调色板,保留材质-光照交互。
  • 照明投射基于粗3D几何显式映射目标空间照明条件。
  • 非对称多视角条件策略高效处理密集多视角和多模态输入。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。