跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

Embodied3DBench:评测视觉语言模型低层具身空间智能的新基准

文章摘要

Embodied3DBench 是一个面向机器人中心的基准,用于系统评估视觉语言模型在具身 3D 环境中的低层空间智能。它包含 6 类任务、12 个子类和超过 2.1 万个高质量问答对,评测了 13 个先进模型,发现当前模型在高层空间推理上表现较好,但在交互导向感知上仍很脆弱。为弥补这一差距,作者还合成了包含 130 万问答对的大规模训练数据集,微调后能显著提升低层空间智能。

来源arXiv Computer Vision作者: Jiyao Zhang, Mingxu Zhang, Yitong Peng, Haoxuan Liu, Chenshuo Wang, Yuxing Long, Haoyang Huang, Dongjiang Li, Nan Duan, Hui Shen, Hao Dong
Embodied3DBench:评测视觉语言模型低层具身空间智能的新基准
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

本文介绍由Jiyao Zhang等11位作者提交、于2026年5月27日发布在arXiv上的预印本论文《Embodied3DBench: Benchmarking Low-Level Embodied Spatial Intelligence of Vision Language Models》(arXiv编号2605.29074,属于计算机视觉与模式识别cs.CV,并交叉涉及机器人学cs.RO)。

论文从一个直接的问题出发:当前的视觉语言模型(VLM)是否已经准备好理解并推理3D环境中的复杂具身交互?为此,作者提出了Embodied3DBench,这是一个以机器人为中心、专门针对具身3D环境中低层空间智能的基准测试。与侧重高层语义理解的评测不同,该基准聚焦于支撑机器人操作与行动的基础感知能力。

在任务设计上,基准包含6个任务类别,被划分为两大核心组别。第一组是“空间结构理解”,包括目标定位(Grounding)、空间关系预测(Spatial Relation Prediction)和多视角对应(Multi-view Correspondence);第二组是“交互导向感知”,包括可供性预测(Affordance Prediction)、抓取点预测(Grasp Point Prediction)和轨迹预测(Trajectory Prediction)。整个基准细分为12个子类别,共收录超过2.1万条高质量问答对。

作者利用该基准评测了13个最先进的模型。结果显示,当前模型在高层空间推理方面表现相对较强,例如能够理解物体之间的相对位置关系;但在交互导向感知任务上表现脆弱,暴露出模型显著缺乏稳健的、具备3D感知能力的交互先验知识。这一发现说明,模型“看得懂场景”与“知道如何动手操作”之间存在明显鸿沟。

为主动弥合基准所揭示的能力缺口,研究团队进一步合成了一个大规模训练数据集,包含130万条问答对。实验表明,在该数据集上微调能够显著提升模型的低层空间智能。论文最终强调,Embodied3DBench同时提供了系统化的评测框架和可扩展的数据方案,填补了该领域的关键空白,并为面向交互的多模态系统研发设定了明确目标。该论文于2026年5月27日20:28:56 UTC提交,全文约5.9MB。

展开要点与分析

文章情报

工程师进阶

要点

  • Embodied3DBench 包含 6 类任务、12 个子类和超过 2.1 万问答对,聚焦具身 3D 环境中的低层空间智能。
  • 评测 13 个先进模型发现,当前 VLM 在物体间位置关系等高层空间推理上较强,但在可供性、抓取点和轨迹预测等交互导向感知上表现脆弱。
  • 作者合成了 130 万问答对的训练数据集,微调后能显著提升模型的低层空间智能,为交互感知多模态系统提供了可扩展的数据方案。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。