StereoSplat+：拡散支援型プログレッシブ推論を用いたフィードフォワードステレオガウシアンスプラッティング
StereoSplat+は、単一のステレオペアから因果的再構成を可能にする拡散強化フィードフォワードフレームワークです。複数視点の観測を必要とせず、ステレオガウシアン推定器とプログレッシブ推論スキームを統合し、KITTI-360データセットにおいて新規視点レンダリング品質と幾何学的精度を向上させます。
近年、3Dガウシアンスプラッティング（3DGS）は、新しい視点からの合成において高品質でレンダリング可能なシーン表現を実現しています。しかし、既存の3DGSパイプラインのほとんどは、十分なカバレッジを得るために多視点観測（または将来フレームへの非因果的アクセス）に依存しており、単一のステレオリグに制限されたデバイス上のロボティクスやAR環境では利用できないことがよくあります。そのため、単一のステレオ観測から高品質な3DGSシーンを復元することは、オクルージョン、限られた視野、欠落した幾何学のために依然として課題です。
研究チームは、この課題に取り組むため、StereoSplat+を提案します。これは、拡散強化フィードフォワードフレームワークであり、単一のステレオペアから因果的再構成を可能にします。本手法は2つの主要コンポーネントで構成されています。まず、StereoSplatは、可変数のポーズ付きステレオペアを入力として受け取り、高品質な3Dガウシアンを予測する入力不変のフィードフォワード3Dガウシアン推定器です。コストボリューム分岐とトリプレーンベースの3Dボリューム分岐を介して相補的な幾何学的手がかりを融合し、連続ポーズエンコーディングを活用してビュー数やカメラ構成を超えて一般化します。この設計により、トレーニング時には複数のステレオペアを利用しつつ、推論時には単一入力にも適応できます。
次に、推論時には通常複数のポーズ付きステレオペアが利用できないため、拡散強化型のワンショットプログレッシブ推論スキームStereoSplat+を導入します。単一のステレオペアから開始し、予測された3DGSから新しいステレオビューをレンダリングし、ワンステップ拡散エンハンサーでそれらを洗練し、追加入力としてフィードバックして3DGSを更新します。この反復プロセスは単一の順方向パスで完了し、追加のトレーニングや高価な最適化ループを必要としません。
KITTI-360データセットでの実験により、StereoSplat+はオクルージョン領域や強い視野外挿の下で、新規視点レンダリング品質と幾何学的精度を向上させ、最近のフィードフォワード3DGSベースラインを凌駕することが示されました。本研究成果はIEEE/RSJ国際インテリジェントロボットとシステム会議（IROS2026）に採択されており、Zihua LiuとMasatoshi Okutomiによる8ページの論文として発表されました。