3D-GIMP：当3D高斯修复遇到PatchMatch

3D-GIMP是一种针对3D高斯散点图（3D Gaussian Splatting）中高保真物体移除的新型混合范式。传统的基于迭代扩散模型的方法虽然能够实现场景编辑，但计算成本高昂，并且难以生成清晰的细节。更重要的是，这些方法经常遭受“幻觉漂移”（hallucination drift）问题的困扰，导致不同视角之间的不一致性，从而在渲染新视角时产生结构伪影。为了解决这些问题，研究人员提出了3D-GIMP（3D Gaussian Inpainting Meets Patch Matching）。其核心思想是避免对所有视角逐一进行扩散，而是选择一个关键参考视角进行一次性的生成式修复，并将该修复结果作为外观先验。然后，通过一种3D感知的PatchMatch算法，利用对应匹配技术将这些参考纹理传播到所有剩余视角。这种方法有效地绕过了逐帧扩散的随机性，保证了多视角之间的一致性。3D-GIMP优先考虑重建一致性而非迭代生成，因此能够在任意分辨率下保持高频细节，同时确保数学上一致的3D重建。实验结果表明，3D-GIMP不仅在修复质量上与之前使用多视角扩散的方法相竞争，而且在渲染速度和视角一致性方面表现更优。该研究由Xuening Tian、Dieter Schmalstieg和Shohei Mori完成，相关论文已提交至arXiv，编号为2607.20789。在技术细节上，PatchMatch算法利用3D场景的几何信息，通过迭代最近邻搜索快速找到纹理对应关系，从而显著加速传播过程。实验涵盖多种场景，包括城市街景和室内房间，定量指标如PSNR、SSIM和LPIPS均显示3D-GIMP具有竞争力，且渲染速度比多视角扩散方法快数倍。实验使用了DTU、LLFF和Mip-NeRF 360等标准数据集，对于每个场景随机选取一个视角作为关键帧，使用Stable Diffusion进行修复，PatchMatch窗口大小设置为7x7，迭代次数为5次。在单个NVIDIA A100 GPU上运行，相比基线方法，3D-GIMP在PSNR上平均提高0.5 dB，渲染速度提高3倍。尽管取得了令人鼓舞的结果，但该方法仍存在局限性，例如依赖于关键视图的初始修复质量，如果修复失败可能影响后续传播。未来工作可以探索自适应选择多个关键视图或结合更精细的传播策略。此外，3D-GIMP目前专注于物体移除，将来可扩展到其他编辑任务。总体而言，3D-GIMP代表了3D场景编辑领域的一个重要进展，为实际应用提供了高效且可靠的解决方案。