視覚言語行動（VLA）システムにとって、ロボット操作における空間グラウンディングは依然として主要な制約である。現在のモデルは物体を認識し、言語指示に従うことができるが、物体が空間内でどのように配置されているか、たとえば支持、包含、順序、遮蔽、深度に敏感な関係についての明示的な表現を欠いていることが多い。Hassan Jaberら5名の著者は、実体操作における関係的グラウンディングを評価するための空間シーングラフデータセットとベンチマーク「EmbodimentSemantic」を提案した。
EmbodimentSemanticの中心的な表現は、シーンを有向の「物体-関係-物体」トリプレットとしてモデル化することである。各トリプレットは、固定された関係セットを用いて、順序付けられた物体ペア間の空間関係を指定する。この表現により、物体バインディング、関係予測、空間一貫性を直接評価することが可能になる。
データセットには、低コストのSO101ロボットアームで収集された実世界の操作観測が含まれ、実用的なロボット環境での空間グラウンディングを研究するための生成シーングラフが付属している。制御された検証を提供するため、著者らはシミュレータに基づくLIBEROベンチマークも導入した。これは6万フレーム以上の操作画像と12万枚以上のカメラ別シーングラフを含み、ペアの三人称視点と手首視点をカバーする。これらのシミュレーションデータでは、正解関係がMuJoCoの幾何学、ワールド座標、カメラ投影、可視性制約から自動的に導出される。
さらに研究者らは、シーングラフが下流の制御を改善できるかをテストした。シーングラフを既存のVLAポリシーのプロンプトに注入し、操作パフォーマンスへの影響を観察した。オープンソースおよび商用の視覚言語モデルに対する実験では、現在のモデルがもっともらしい関係を予測できることが多い一方で、正確な深度認識や視点依存の空間構造の把握には依然として苦労することが示された。
EmbodimentSemanticは、視覚言語モデルの知覚における空間グラウンディングを診断し、VLA操作に対するその有用性をテストするための統一フレームワークを提供する。本論文は2026年6月6日に提出され、ロボティクス（cs.RO）分野に属し、arXiv番号は2607.00020である。