StereoSplat+:基于扩散辅助渐进推理的前馈立体高斯喷洒
StereoSplat+是一种基于扩散增强的前馈框架,能够从单个立体对进行因果重建,无需多视图观测。该方法包括立体高斯估计器和渐进推理方案,在KITTI-360数据集上相比基线方法提升了新视角渲染质量和几何精度。
近年来,3D高斯喷洒(3DGS)技术在新视角合成领域取得了高质量的可渲染场景表示。然而,大多数现有3DGS管线依赖多视图观测(或对后续帧的非因果访问)来实现充分覆盖,这在设备端机器人和增强现实场景中往往不可行,因为传感仅限于单个立体摄像头。因此,从单个立体观测中恢复高质量3DGS场景仍具挑战,主要面临遮挡、视野有限和几何缺失等问题。
针对这一难题,研究团队提出了StereoSplat+,一个基于扩散增强的前馈框架,能够从单个立体对实现因果重建。该方法包含两大核心组件。首先,StereoSplat是一个输入不变的前馈3D高斯估计器,可接受任意数量的已标定立体对作为输入,并预测高质量3D高斯。它通过cost-volume分支和triplane基于3D体积分支融合互补的几何线索,并利用连续姿态编码泛化至不同视图数量和相机配置。这种设计使模型在训练时能利用多个立体对,而在推理时仍能适应单个输入。
其次,针对推理时通常缺少多个立体对的问题,研究引入了StereoSplat+,一种扩散增强的一次性渐进推理方案。该方案从单个立体对出发,从预测的3DGS中渲染新的立体视图,通过单步扩散增强器对其进行优化,然后将优化后的视图作为附加输入反馈以更新3DGS。这一迭代过程在单次前向传播中完成,无需额外训练或昂贵的优化循环。
在KITTI-360数据集上的实验表明,StereoSplat+显著提升了新视角渲染质量和几何精度,尤其在遮挡区域和强外推视角下,其性能超越了近期前馈3DGS基线方法。相关成果已被IEEE/RSJ国际智能机器人与系统大会(IROS2026)接收。该工作由Zihua Liu和Masatoshi Okutomi完成,论文共8页,展示了单目立体输入下3D重建的新进展。