EmbodimentSemantic 是一个面向具身操作任务的空间场景图数据集与基准,旨在评估视觉-语言模型(以及视觉-语言-动作系统)在空间关系理解上的能力。该论文由 Hassan Jaber 等五位作者于2026年6月6日提交至 arXiv,归类为机器人学(cs.RO),编号 arXiv:2607.00020。论文指出,空间落地(spatial grounding)仍是机器人操作中视觉-语言-动作(VLA)系统的关键短板:现有模型虽能识别物体并遵循语言指令,但往往缺乏对物体在空间中所处排列方式的显式表征,例如支撑、容纳、排序、遮挡以及深度敏感的关系。
为填补这一空白,作者提出将场景表示为有向的“物体—关系—物体”三元组,每个三元组用一组固定的关系来描述一对有序物体之间的空间关系。这种表示方式使得对物体绑定、关系预测和空间一致性的直接评估成为可能。数据集包含使用低成本 SO101 机械臂采集的真实世界操作观测,并配有生成的场景图,用于研究实际机器人环境中的空间落地问题。
为提供受控验证,研究团队还构建了基于仿真器的 LIBERO 基准,包含超过6万帧操作画面,以及超过12万张按相机区分的场景图,覆盖配对的第三人称视角与腕部视角。这些场景图的真值关系由 MuJoCo 几何、世界坐标、相机投影和可见性约束自动推导得出,从而避免了人工标注带来的偏差,并保证关系标签在物理上的一致性。
论文进一步测试了场景图能否改善下游控制:作者将场景图注入现有 VLA 策略的提示中,观察其是否有助于操作决策。针对开源与商业视觉-语言模型的实验显示,当前模型常常能预测出看似合理的关系,但在精确的深度感知和依赖视角的空间结构上表现不佳,说明模型的空间推理仍停留在表面层面,难以把握真正影响操作成功的几何细节。
总体而言,EmbodimentSemantic 提供了一个统一框架,既可用于诊断视觉-语言模型感知中的空间落地能力,也可用于检验这些空间表征对 VLA 操作任务的实际效用。该数据集与基准覆盖真实与仿真两种环境,兼顾了低成本硬件采集与大规模自动标注,为后续研究提供了可复现的评估基础。