3D-GIMP：3DガウスインペインティングとPatchMatchの融合

3D-GIMPは、3Dガウススプラッティング（3D Gaussian Splatting）における高忠実度オブジェクト除去のための新しいハイブリッドパラダイムです。従来の反復拡散モデルを用いた手法は計算コストが高く、鮮明なディテールの生成に課題がありました。また、「幻覚ドリフト」と呼ばれる現象により、マルチビュー間の不整合が生じ、新しい視点からのレンダリング時に構造的アーティファクトが発生することがありました。この問題に対処するため、研究者らは3D-GIMP（3D Gaussian Inpainting Meets Patch Matching）を提案しました。その核心は、すべてのビューを拡散する代わりに、キーとなる参照ビューに対して一度だけ生成的インペインティングを適用し、その結果を外観の事前情報として利用することです。その後、3D認識型のPatchMatchアルゴリズムを用いて、対応マッチングによりこれらの参照テクスチャを残りの全ビューに伝播します。これにより、フレームごとの拡散の確率的性質を回避し、マルチビュー間の一貫性を保証します。3D-GIMPは、反復生成よりも再構成的な一貫性を優先するため、任意の解像度で高周波ディテールを維持し、数学的に一貫した3D再構成を実現します。実験では、3D-GIMPは複数ビューの拡散を用いた従来手法と同等のインペインティング品質を達成するだけでなく、レンダリング速度とビュー一貫性において優れた性能を示しました。この研究はXuening Tian、Dieter Schmalstieg、Shohei Moriによって行われ、論文はarXivに提出されています（番号2607.20789）。技術的には、PatchMatchアルゴリズムは3Dシーンの幾何情報を活用し、反復最近傍探索によりテクスチャ対応を高速に見つけ出します。実験はDTU、LLFF、Mip-NeRF 360などの標準データセットで行われ、PSNR、SSIM、LPIPSなどの指標で評価されました。各シーンからランダムに1つのキービューを選択し、Stable Diffusionでインペインティングを実行、PatchMatchのウィンドウサイズは7x7、反復回数は5回です。単一のNVIDIA A100 GPU上で実行し、ベースライン手法と比較して、3D-GIMPはPSNRで平均0.5dB向上し、レンダリング速度は3倍高速でした。ユーザー調査でも、3D-GIMPが生成したビューは他の手法よりも視覚的に一貫していると評価されました。ただし、キービューの初期インペインティング品質に依存するという限界もあり、今後の研究では複数のキービューの選択やより洗練された伝播戦略が期待されます。全体として、3D-GIMPは3Dシーン編集における重要な進展を示しており、実用的なアプリケーションに適した効率的で信頼性の高いソリューションを提供します。