跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

EmbodimentSemantic:用于具身操作轨迹视觉语言模型的空间场景图数据集与基准

文章摘要

研究人员发布 EmbodimentSemantic,这是一个空间场景图数据集与基准,用于评估视觉语言动作(VLA)模型在机器人操作中的关系性空间 grounding。它包含低成本 SO101 机械臂的真实观测,以及一个基于 LIBERO 模拟器的基准,后者包含超过 6 万帧操作画面和 12 万张以上相机特定场景图。实验显示,当前视觉语言模型常能预测出看似合理的关系,但在精确的深度感知和视角依赖的空间结构上表现不佳。

来源arXiv Robotics作者: Hassan Jaber, Refinath S N, Luca Cagliero, Christopher E. Mower, Haitham Bou-Ammar
EmbodimentSemantic:用于具身操作轨迹视觉语言模型的空间场景图数据集与基准
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

EmbodimentSemantic 是一个面向具身操作任务的空间场景图数据集与基准,旨在评估视觉-语言模型(以及视觉-语言-动作系统)在空间关系理解上的能力。该论文由 Hassan Jaber 等五位作者于2026年6月6日提交至 arXiv,归类为机器人学(cs.RO),编号 arXiv:2607.00020。论文指出,空间落地(spatial grounding)仍是机器人操作中视觉-语言-动作(VLA)系统的关键短板:现有模型虽能识别物体并遵循语言指令,但往往缺乏对物体在空间中所处排列方式的显式表征,例如支撑、容纳、排序、遮挡以及深度敏感的关系。

为填补这一空白,作者提出将场景表示为有向的“物体—关系—物体”三元组,每个三元组用一组固定的关系来描述一对有序物体之间的空间关系。这种表示方式使得对物体绑定、关系预测和空间一致性的直接评估成为可能。数据集包含使用低成本 SO101 机械臂采集的真实世界操作观测,并配有生成的场景图,用于研究实际机器人环境中的空间落地问题。

为提供受控验证,研究团队还构建了基于仿真器的 LIBERO 基准,包含超过6万帧操作画面,以及超过12万张按相机区分的场景图,覆盖配对的第三人称视角与腕部视角。这些场景图的真值关系由 MuJoCo 几何、世界坐标、相机投影和可见性约束自动推导得出,从而避免了人工标注带来的偏差,并保证关系标签在物理上的一致性。

论文进一步测试了场景图能否改善下游控制:作者将场景图注入现有 VLA 策略的提示中,观察其是否有助于操作决策。针对开源与商业视觉-语言模型的实验显示,当前模型常常能预测出看似合理的关系,但在精确的深度感知和依赖视角的空间结构上表现不佳,说明模型的空间推理仍停留在表面层面,难以把握真正影响操作成功的几何细节。

总体而言,EmbodimentSemantic 提供了一个统一框架,既可用于诊断视觉-语言模型感知中的空间落地能力,也可用于检验这些空间表征对 VLA 操作任务的实际效用。该数据集与基准覆盖真实与仿真两种环境,兼顾了低成本硬件采集与大规模自动标注,为后续研究提供了可复现的评估基础。

展开要点与分析

文章情报

工程师进阶

要点

  • EmbodimentSemantic 将场景表示为有向的对象-关系-对象三元组,从而可以直接评估对象绑定、关系预测和空间一致性。
  • 真实世界数据使用低成本 SO101 机械臂采集,并配有生成的场景图。
  • 模拟器基准基于 LIBERO,包含超过 6 万帧操作画面和 12 万张以上场景图,覆盖配对的第三人称和腕部视角。
  • 将场景图注入 VLA 策略提示中,以测试其能否改善下游控制。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。