フェイフェイ・リーが再び動く：空間知能のImageNetが登場

フェイフェイ・リー（李飛飛）氏は、画像認識の分野で画期的なデータセット「ImageNet」を生み出したことで知られるAI研究者です。そのリー氏のチームが今度は、空間知能の評価に特化した新しいベンチマーク「ESI-Bench」を発表しました。スタンフォード大学を中心に、UCLA、清華大学、ノースウェスタン大学の研究者が参加する共同プロジェクトです。

ESI-Benchは、従来の空間知能ベンチマークがモデルに最適な観測視点を受動的に与えていたのに対し、エージェント自身が行動して情報を能動的に収集することを要求します。これにより「知覚－行動ループ」を閉じ、真の空間推論能力を測定します。ベンチマークはOmniGibsonシミュレーションプラットフォーム上に構築され、BEHAVIOR-1Kシーンライブラリを使用。10のタスクカテゴリ、29のサブカテゴリ、3,081のタスクインスタンスから構成され、Spelkeの4つのコア知識体系（物体表象、レイアウトと幾何学、数量表象、目標指向行動）に基づいています。

主な実験結果からは、3つの重要な知見が得られました。

第一に、知覚はボトルネックではなく、行動が課題です。能動的探索は確かに効果的であり、Gemini 3.1は部分遮蔽タスクで最適視点が与えられると正解率が14.6%から95.1%に急上昇しました。しかし、モデル自身ではその最適視点を見つけられませんでした。さらに、ランダムな多視点戦略は逆効果で、GPT-5の空間距離タスクの正解率は53.9%から49.1%に低下。「行動盲」と名付けられたこの現象は、悪い行動が悪い視点を生み、連鎖的な失敗を引き起こします。

第二に、不完全な3D再構成は2Dよりも悪い結果をもたらす可能性があります。完全な3Dデータ（神の視点）を与えられた場合、モデルの性能は向上しました。しかし、VGGTモデルによる実際の3D再構成を使用した場合、幾何構成タスクの正解率は2Dベースラインの27.5%から9.9%に激減。歪みや誤差を含む3D情報は、モデルに誤った手がかりを与える「毒」となります。

第三に、モデルはメタ認知が欠如しています。人間は曖昧な状況でより多くの証拠を集め、反証を探すのに対し、モデルは早期に探索を停止し、過剰な自信を持って判断を下します。物理的接触タスクでは人間の正解率が88.3%だったのに対し、GPT-5は64.2%にとどまりました。

論文の筆頭著者はスタンフォード大学の博士研究員Yining Hong氏。その他、劉家耕氏（UCLA博士課程）、韓音氏（清華大学学部生）、そしてフェイフェイ・リー、Jiajun Wu、Yejin Choi、Manling Li、Leonidas Guibas各教授が著者に名を連ねています。

ESI-BenchはarXivとプロジェクトウェブサイトで公開されています。このベンチマークは、AIが「見る」ことには長けていても、「動く、触る、自ら答えを探す」空間知能には程遠いことを浮き彫りにしています。