屋内シーンの再照明には、フォトリアリズム、正確な空間制御、および厳密なマルチビュー一貫性が求められます。拡散ベースの画像編集モデルはテキストプロンプトによるセマンティックな照明操作を可能にしますが、正確な3Dライト配置を強制すると生成事前分布が崩れ、不自然な結果を招くことがあります。この課題に対処するため、Chenjian GaoらはLume-Paletteフレームワークを提案しました。これは、照明事前分布を分離することで空間制御可能なマルチビュー屋内再照明を実現する漸進的なアプローチです。
Lume-Paletteは再照明を2つの段階に分割します：照明蒸留と照明投射です。照明蒸留段階では、事前学習済み拡散モデルから標準照明パレットを抽出し、現実的な素材と光の相互作用を保持します。これにより、モデルは異なる素材が様々な照明下でどのように見えるかを理解できます。照明投射段階では、粗い3Dジオメトリ情報を利用して、目標の空間照明条件をシーンに明示的にマッピングし、光源位置の精密な制御を可能にします。
密集したマルチビューおよびマルチモーダル入力を効率的に処理するために、非対称マルチビュー条件付け戦略が導入されました。この戦略は、必要な空間コンテキストを選択的に注入することで、冗長な計算を避けつつ、全ビュー間の一貫性を保証します。
多様な合成シーンと実世界シーンでの実験により、Lume-Paletteはフォトリアリスティックで空間制御可能、かつマルチビュー一貫性のある再照明結果を生成することが示されました。既存手法と比較して、素材の詳細や照明効果を維持しながら、光源位置の制御精度が大幅に向上しています。本プロジェクトはGitHubでオープンソース化されており、オンラインデモも提供されています。