跳到主要內容
AI News HubLIVE
更多
站內改寫1 分鐘閱讀

用於空間可控多視角室內場景重照明的解耦照明先驗

文章摘要

Lume-Palette框架透過解耦照明蒸餾和照明投射兩個階段,實現了空間可控的多視角室內場景重照明,在保持多視角一致性的同時支援精細的3D光照控制。

來源arXiv Computer Vision作者: Chenjian Gao, Linning Xu, Tianfan Xue
用於空間可控多視角室內場景重照明的解耦照明先驗
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

室內場景重照明要求照片級真實感、精確的空間控制以及嚴格的多視角一致性。儘管基於擴散模型的影像編輯工具可以透過文本提示實現語義光照調整,但精確指定三維光源位置往往會破壞模型的生成先驗,導致不自然的結果。針對這一難題,Chenjian Gao 等人提出了 Lume-Palette 框架,一種漸進式的解決方案,透過分離光照先驗來達成空間可控的多視角室內重照明。

Lume-Palette 將重照明過程分解為兩個階段:照明蒸餾和照明投射。在照明蒸餾階段,模型從一個預訓練的擴散模型中提取規範的照明調色盤,這些調色盤保留了真實的材質與光照相互作用。這樣,模型能夠理解不同材質在不同光照下的表現,而無需從頭學習。照明投射階段則利用粗略的3D幾何資訊,將目標空間照明條件顯式地對映到場景中,實現對光照位置的精確控制。

為了高效處理密集的多視角和多模態輸入(如RGB影像、深度圖等),研究者引入了一種非對稱多視角條件策略。該策略選擇性地注入關鍵的空間上下文資訊,避免了冗餘計算,同時保證了各個視角之間的一致性。

實驗在多種合成場景和真實世界場景上進行,結果表明Lume-Palette能夠生成照片級真實、空間可控且多視角一致的重照明結果。與現有方法相比,Lume-Palette在保持材質細節和光照效果的同時,顯著提升了對光源位置的控制精度。該專案已在GitHub上開源,並提供了線上演示。

展開要點與分析

文章情報

工程師進階

要點

  • 提出Lume-Palette框架,將重照明解耦為照明蒸餾和照明投射兩階段。
  • 照明蒸餾從預訓練擴散模型中提取規範照明調色盤,保留材質-光照互動。
  • 照明投射基於粗3D幾何顯式對映目標空間照明條件。
  • 非對稱多視角條件策略高效處理密集多視角和多模態輸入。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。