近年、マルチモーダル大規模言語モデル（MLLM）は、2D意味理解と3D空間幾何学の間の表現ギャップを埋めるのに苦労している。既存の3D対応モデルは、高価な3D専用データ（点群や深度マップなど）に依存するもの（PointNet、3D-LLMなど）と、RGBのみの入力をヒューリスティックなサンプリングとモノリシックな浅い融合で利用するもの（Video-LLaVAなど）に大別される。前者は高精度な3Dセンサーやラベル付きデータを必要としコストが高く、後者は一様サンプリングによるキーフレーム情報の喪失と、単一融合によるモダリティ競合を引き起こす。これらのボトルネックを克服するため、Haida Feng らはSpaR3D-MoEを提案した。これは、スパースなRGB入力のみからMLLMに幾何認識能力を付与し、適応的な空間推論を可能にするエンドツーエンドフレームワークである。
このフレームワークの主要な革新は二つある。第一に、適応的時空間多様体サンプリング機構である。これはシーンの空間構造に基づいて幾何認識時空間グラフを構築し、情報豊富なキーフレームを抽出する。従来の一様サンプリングとは異なり、この手法は重要な幾何情報を含むフレームを適応的に選択し、シーケンスの冗長性を低減しつつトポロジカル接続性を維持する。第二に、異種幾何帰納的混合専門家モデル（MoE）を導入する。これは命令・姿勢認識ルータによって駆動され、テキスト命令とカメラ姿勢の重みに基づいてマルチモーダルトークンを複数の専門家に動的にルーティングする。専門家は距離推定や方向判断など異なる幾何属性を担当し、モノリシック融合に内在するクロスモーダル競合を解決する。この設計により、モデルはタスクに応じて柔軟に調整でき、推論の精度が向上する。
研究チームはVSI-Bench（視覚空間推論ベンチマーク）、ScanQA（3D質問応答）、SQA3D（シーン理解質問応答）の3つのベンチマークで実験を行った。結果は、SpaR3D-MoEが全てのデータセットで最先端の性能を達成したことを示している。特にVSI-Benchでは平均スコア63.5を記録し、最強ベースラインを7.8絶対ポイント上回った。タスク別では、Route PlanとRelative Directionでそれぞれ35.4%と51.4%の相対改善を達成し、空間推論タスクにおける顕著な優位性を示した。また、本論文はECCV 2026に採択されており、学術界からの高い評価を受けている。研究チームは複数の大学に所属し、第一著者はHaida Fengである。コードは後日公開される予定であり、関連研究の発展が期待される。