近年来，多模态大语言模型（MLLMs）在将二维语义理解与三维空间几何融合方面面临显著挑战。现有的三维感知模型主要分为两类：一类依赖昂贵的三维专用数据（如点云或深度图），例如PointNet和3D-LLM等方法；另一类使用基于RGB的输入并采用启发式采样和单一的浅层融合方法，例如Video-LLaVA等视频理解模型。前者由于需要高精度的3D传感器或标注数据，成本高昂且难以推广；后者则因为均匀采样导致关键帧信息丢失，同时单一的浅层融合方式在处理多样化的空间任务时引发模态竞争，无法有效对齐二维语义和三维几何。为了克服这些瓶颈，Haida Feng 等研究者提出了SpaR3D-MoE，这是一个端到端框架，能够仅从稀疏的RGB输入中赋予MLLMs几何感知能力，实现自适应空间推理。
该框架的核心创新包括两个关键部分。首先，研究者设计了一种自适应时空流形采样机制，该机制基于场景的空间结构构建几何感知的时空图，从而提取信息丰富的关键帧。与传统的均匀采样不同，这种方法自适应地选择那些包含重要几何信息的帧，有效缓解了序列中的冗余，同时保留了场景的拓扑连通性。其次，他们引入了异质几何归纳混合专家模型（MoE），该模型由一个指令-姿态感知路由器驱动。路由器根据输入的文本指令和相机姿态权重，动态地将多模态令牌分配到多个专门的专家模块中。这些专家分别处理不同的几何属性，例如距离估计、方向判断等，从而解决了单一融合方式中固有的跨模态冲突问题。这种设计使得模型能够根据任务需求灵活调整，提升了推理的准确性。
研究团队在三个广泛使用的基准数据集上进行了实验：VSI-Bench（视觉空间推理基准）、ScanQA（三维问答）和SQA3D（场景理解问答）。实验结果表明，SpaR3D-MoE在所有数据集上均达到了最先进的性能。特别值得注意的是，在VSI-Bench上，该方法取得了平均得分63.5的最高成绩，超出最强基线7.8个绝对分数点。在具体任务中，路线规划（Route Plan）和相对方向（Relative Direction）分别实现了35.4%和51.4%的相对改进，显示了该框架在空间推理任务上的显著优势。此外，该论文已被ECCV 2026接收，体现了学术界对其创新性和有效性的认可。研究团队来自多所知名高校，第一作者为Haida Feng，论文代码预计将在后续公开，以促进相关研究的进一步发展。