ビデオリライティングは、コンピュータグラフィックスとビジョン分野において重要なタスクであり、動画内の物体の照明条件を変更しながら時間的一貫性を保つことを目的としています。既存の手法は主に二つのパラダイムに分類されます。一つは逆レンダリングを用いて動画の測光特性を再構築し、物理ベースレンダリング（PBR）またはニューラルレンダラーを用いて目標照明にリライティングする方法ですが、ノイズの多い再構築やグローバルイルミネーションなどの複雑な効果のモデル化に苦戦します。もう一つは、リライティング目標を条件とした生成型ビデオ間翻訳ですが、拡散モデルが長編動画の翻訳に難航し、時間的安定性や制御性が制限されます。
本研究では、LightCrafterという新しいハイブリッドパイプラインを提案します。この手法は、ビデオリライティングをプロキシビデオの翻訳として再構成します。具体的には、入力動画を直接目標に翻訳するのではなく、入力動画の目標照明下でのPBRレンダリングを生成し、それを最終目標に翻訳します。これにより、照明目標をPBRプロキシに組み込み、拡散モデルに環境マップなどの照明概念を教える必要がなくなり、より緻密な照明制御と自然な長編動画の時間的一貫性を実現します。PBRレンダリングだけでも一部の既存手法を上回る性能を示しますが、グローバルイルミネーションなどの効果は捉えきれません。そこで、合成ビデオペアと実世界の非ペア動画を用いてCogVideoXを後訓練し、ビデオ生成モデルの測光事前知識を活用することで、これらの効果を捉えることに成功しました。
実世界のリライティングベンチマークにおいて、LightCrafterは従来の最先端手法を凌駕し、さらに分析用の合成ベンチマークも提供しています。データセット、ベンチマーク、評価指標、コードは公開される予定です。この手法は、物理ベースレンダリングの精度と拡散モデルの生成能力を融合させた新しいアプローチであり、映画制作や仮想現実などの分野での応用が期待されます。