本文介绍由Jiyao Zhang等11位作者提交、于2026年5月27日发布在arXiv上的预印本论文《Embodied3DBench: Benchmarking Low-Level Embodied Spatial Intelligence of Vision Language Models》(arXiv编号2605.29074,属于计算机视觉与模式识别cs.CV,并交叉涉及机器人学cs.RO)。
论文从一个直接的问题出发:当前的视觉语言模型(VLM)是否已经准备好理解并推理3D环境中的复杂具身交互?为此,作者提出了Embodied3DBench,这是一个以机器人为中心、专门针对具身3D环境中低层空间智能的基准测试。与侧重高层语义理解的评测不同,该基准聚焦于支撑机器人操作与行动的基础感知能力。
在任务设计上,基准包含6个任务类别,被划分为两大核心组别。第一组是“空间结构理解”,包括目标定位(Grounding)、空间关系预测(Spatial Relation Prediction)和多视角对应(Multi-view Correspondence);第二组是“交互导向感知”,包括可供性预测(Affordance Prediction)、抓取点预测(Grasp Point Prediction)和轨迹预测(Trajectory Prediction)。整个基准细分为12个子类别,共收录超过2.1万条高质量问答对。
作者利用该基准评测了13个最先进的模型。结果显示,当前模型在高层空间推理方面表现相对较强,例如能够理解物体之间的相对位置关系;但在交互导向感知任务上表现脆弱,暴露出模型显著缺乏稳健的、具备3D感知能力的交互先验知识。这一发现说明,模型“看得懂场景”与“知道如何动手操作”之间存在明显鸿沟。
为主动弥合基准所揭示的能力缺口,研究团队进一步合成了一个大规模训练数据集,包含130万条问答对。实验表明,在该数据集上微调能够显著提升模型的低层空间智能。论文最终强调,Embodied3DBench同时提供了系统化的评测框架和可扩展的数据方案,填补了该领域的关键空白,并为面向交互的多模态系统研发设定了明确目标。该论文于2026年5月27日20:28:56 UTC提交,全文约5.9MB。