近年來，多模態大語言模型（MLLMs）在將二維語義理解與三維空間幾何融合方面面臨顯著挑戰。現有的三維感知模型主要分為兩類：一類依賴昂貴的三維專用數據（如點雲或深度圖），例如PointNet和3D-LLM等方法；另一類使用基於RGB的輸入並採用啓發式採樣和單一的淺層融合方法，例如Video-LLaVA等視頻理解模型。前者由於需要高精度的3D傳感器或標註數據，成本高昂且難以推廣；後者則因為均勻採樣導致關鍵幀信息丟失，同時單一的淺層融合方式在處理多樣化的空間任務時引發模態競爭，無法有效對齊二維語義和三維幾何。為了克服這些瓶頸，Haida Feng 等研究者提出了SpaR3D-MoE，這是一個端到端框架，能夠僅從稀疏的RGB輸入中賦予MLLMs幾何感知能力，實現自適應空間推理。
該框架的核心創新包括兩個關鍵部分。首先，研究者設計了一種自適應時空流形採樣機制，該機制基於場景的空間結構構建幾何感知的時空圖，從而提取信息豐富的關鍵幀。與傳統的均勻採樣不同，這種方法自適應地選擇那些包含重要幾何信息的幀，有效緩解了序列中的冗餘，同時保留了場景的拓撲連通性。其次，他們引入了異質幾何歸納混合專家模型（MoE），該模型由一個指令-姿態感知路由器驅動。路由器根據輸入的文本指令和相機姿態權重，動態地將多模態令牌分配到多個專門的專家模塊中。這些專家分別處理不同的幾何屬性，例如距離估計、方向判斷等，從而解決了單一融合方式中固有的跨模態衝突問題。這種設計使得模型能夠根據任務需求靈活調整，提升了推理的準確性。
研究團隊在三個廣泛使用的基準數據集上進行了實驗：VSI-Bench（視覺空間推理基準）、ScanQA（三維問答）和SQA3D（場景理解問答）。實驗結果表明，SpaR3D-MoE在所有數據集上均達到了最先進的性能。特別值得注意的是，在VSI-Bench上，該方法取得了平均得分63.5的最高成績，超出最強基線7.8個絕對分數點。在具體任務中，路線規劃（Route Plan）和相對方向（Relative Direction）分別實現了35.4%和51.4%的相對改進，顯示了該框架在空間推理任務上的顯著優勢。此外，該論文已被ECCV 2026接收，體現了學術界對其創新性和有效性的認可。研究團隊來自多所知名高校，第一作者為Haida Feng，論文代碼預計將在後續公開，以促進相關研究的進一步發展。