StereoSplat+:基於擴散輔助漸進推理的前饋立體高斯噴灑
StereoSplat+是一種基於擴散增強的前饋框架,能夠從單個立體對進行因果重建,無需多檢視觀測。該方法包括立體高斯估計器和漸進推理方案,在KITTI-360資料集上相比基線方法提升了新視角渲染質量和幾何精度。
近年來,3D高斯噴灑(3DGS)技術在新視角合成領域取得了高質量的可渲染場景表示。然而,大多數現有3DGS管線依賴多檢視觀測(或對後續幀的非因果訪問)來實現充分覆蓋,這在裝置端機器人和增強現實場景中往往不可行,因為感測僅限於單個立體攝像頭。因此,從單個立體觀測中恢復高質量3DGS場景仍具挑戰,主要面臨遮擋、視野有限和幾何缺失等問題。
針對這一難題,研究團隊提出了StereoSplat+,一個基於擴散增強的前饋框架,能夠從單個立體對實現因果重建。該方法包含兩大核心元件。首先,StereoSplat是一個輸入不變的前饋3D高斯估計器,可接受任意數量的已標定立體對作為輸入,並預測高質量3D高斯。它透過cost-volume分支和triplane基於3D體積分支融合互補的幾何線索,並利用連續姿態編碼泛化至不同檢視數量和相機配置。這種設計使模型在訓練時能利用多個立體對,而在推理時仍能適應單個輸入。
其次,針對推理時通常缺少多個立體對的問題,研究引入了StereoSplat+,一種擴散增強的一次性漸進推理方案。該方案從單個立體對出發,從預測的3DGS中渲染新的立體檢視,透過單步擴散增強器對其進行最佳化,然後將最佳化後的檢視作為附加輸入反饋以更新3DGS。這一迭代過程在單次前向傳播中完成,無需額外訓練或昂貴的最佳化迴圈。
在KITTI-360資料集上的實驗表明,StereoSplat+顯著提升了新視角渲染質量和幾何精度,尤其在遮擋區域和強外推視角下,其效能超越了近期前饋3DGS基線方法。相關成果已被IEEE/RSJ國際智慧機器人與系統大會(IROS2026)接收。該工作由Zihua Liu和Masatoshi Okutomi完成,論文共8頁,展示了單目立體輸入下3D重建的新進展。