3D-GIMP：當3D高斯修復遇到PatchMatch

3D-GIMP是一種針對3D高斯散點圖（3D Gaussian Splatting）中高保真物體移除的新型混合正規化。傳統的基於迭代擴散模型的方法雖然能夠實現場景編輯，但計算成本高昂，並且難以生成清晰的細節。更重要的是，這些方法經常遭受“幻覺漂移”（hallucination drift）問題的困擾，導致不同視角之間的不一致性，從而在渲染新視角時產生結構偽影。為了解決這些問題，研究人員提出了3D-GIMP（3D Gaussian Inpainting Meets Patch Matching）。其核心思想是避免對所有視角逐一進行擴散，而是選擇一個關鍵參考視角進行一次性的生成式修復，並將該修復結果作為外觀先驗。然後，透過一種3D感知的PatchMatch演算法，利用對應匹配技術將這些參考紋理傳播到所有剩餘視角。這種方法有效地繞過了逐幀擴散的隨機性，保證了多視角之間的一致性。3D-GIMP優先考慮重建一致性而非迭代生成，因此能夠在任意解析度下保持高頻細節，同時確保數學上一致的3D重建。實驗結果表明，3D-GIMP不僅在修復質量上與之前使用多視角擴散的方法相競爭，而且在渲染速度和視角一致性方面表現更優。該研究由Xuening Tian、Dieter Schmalstieg和Shohei Mori完成，相關論文已提交至arXiv，編號為2607.20789。在技術細節上，PatchMatch演算法利用3D場景的幾何資訊，透過迭代最近鄰搜尋快速找到紋理對應關係，從而顯著加速傳播過程。實驗涵蓋多種場景，包括城市街景和室內房間，定量指標如PSNR、SSIM和LPIPS均顯示3D-GIMP具有競爭力，且渲染速度比多視角擴散方法快數倍。實驗使用了DTU、LLFF和Mip-NeRF 360等標準資料集，對於每個場景隨機選取一個視角作為關鍵幀，使用Stable Diffusion進行修復，PatchMatch視窗大小設定為7x7，迭代次數為5次。在單個NVIDIA A100 GPU上執行，相比基線方法，3D-GIMP在PSNR上平均提高0.5 dB，渲染速度提高3倍。儘管取得了令人鼓舞的結果，但該方法仍存在侷限性，例如依賴於關鍵檢視的初始修復質量，如果修復失敗可能影響後續傳播。未來工作可以探索自適應選擇多個關鍵檢視或結合更精細的傳播策略。此外，3D-GIMP目前專注於物體移除，將來可擴充套件到其他編輯任務。總體而言，3D-GIMP代表了3D場景編輯領域的一個重要進展，為實際應用提供了高效且可靠的解決方案。