視覚言語モデル（VLM）は、3D 環境における複雑な身体性インタラクションを理解し推論する準備ができているのだろうか。arXiv 論文 Embodied3DBench は、この根本的な問いに取り組む研究である。Jiyao Zhang ら 11 名の著者によって 2026 年 5 月 27 日に提出され、コンピュータビジョンとパターン認識（cs.CV）およびロボティクス（cs.RO）の分野にまたがる。
研究チームは Embodied3DBench を提案する。これはロボット中心のベンチマークであり、身体性を備えた 3D 環境における低レベル空間知能を評価対象とする。低レベル空間知能とは、物体のアフォーダンス、把持点、運動軌道など、物理的インタラクションに直結する基礎的な知覚能力を指す。物体認識や高次の意味関係の理解にとどまらない点が特徴である。
このベンチマークは 6 つのタスクカテゴリを 2 つの核心グループに分けて設計されている。第一のグループは空間構造理解であり、グラウンディング（位置特定）、空間関係予測、多視点対応を含む。第二のグループはインタラクション指向知覚であり、アフォーダンス予測、把持点予測、軌道予測を扱う。全体として 12 のサブカテゴリにわたり、2.1 万を超える高品質な質問応答ペアを収録しており、きめ細かく規模の大きい評価基盤を提供する。
著者らは 13 の最先端モデルを評価した。その結果、これらのモデルは物体間の位置関係の理解など高レベルの空間推論では比較的強い性能を示す一方、インタラクション指向知覚のタスクでは依然として脆弱であることが明らかになった。これは、堅牢な 3D 認識に基づくインタラクション事前知識が著しく不足していることを浮き彫りにする。
この能力ギャップを埋めるため、研究チームは 130 万の質問応答ペアからなる大規模訓練データセットをさらに合成した。このデータセットで微調整を行うと、低レベル空間知能が大幅に向上することが示されている。つまり本研究は評価ツールだけでなく、拡張可能なデータソリューションも提供している。
総じて Embodied3DBench は、身体性 3D 空間知能の評価における重要な空白を埋め、インタラクションを認識するマルチモーダルシステムの開発に向けた明確な目標を設定するものである。体系的評価フレームワーク、現行モデルの弱点分析、大規模合成データによる能力改善の道筋が主な貢献である。