視覚言語モデル（VLM）は単一画像タスクで顕著な進歩を遂げていますが、現実世界では複数の視点から情報を統合して3Dシーンを理解する必要があります。例えば、機械部品の組み立て作業では、ロボットは異なる角度から部品を観察し、それらの観測を一貫した3Dメンタルモデルに融合しなければなりません。しかし、既存のVLMベンチマークは主に単一視点または限定視点の知覚能力を評価しており、異なる視点からの観測をワールド中心（アロセントリック）の3Dメンタルモデルに統合するという核心的な認知能力をテストしていませんでした。
このギャップを埋めるため、複数の研究機関の研究者らは、VLMのマルチビュー統合能力を総合的な3Dシーン理解のために評価する診断ベンチマーク「MultiView-Bench」を導入しました。既存のデータセットがピクセルレベルのマッピングやカメラ相対のナビゲーションに焦点を当てているのとは異なり、MultiView-Benchはモデルに物体の位置を一時的な視点から切り離し、固定されたグローバル座標系に基づかせることを要求します。この能力は、VLMが機械部品組み立てなどの下流タスクに展開される前の前提条件として機能します。
GPT-4VやGeminiなどの最先端VLMを系統的に評価した結果、一貫した失敗パターンが明らかになりました。モデルは単一画像からの2D平面関係では強力なパフォーマンスを示すものの、3D空間関係や視点間の情報集約では顕著な困難を示しました。例えば、モデルは物体の三次元空間での相対位置を判断するのが難しく、異なる角度から撮影された画像からの情報を組み合わせることができませんでした。さらに、VLMには非従来の軸方向（例えば、逆さまや傾いた物体）の処理が苦手である、物体の色やテクスチャの変化に敏感である、対称なシーンで混乱するなどのバイアスも特定されました。
これらの限界を認識し、研究チームはViewNavigatorを提案しました。これは、情報量の多い次の視点を積極的に選択する視点選択器、各視点から重要な情報を抽出する知覚モジュール、そしてこれらのマルチビュー証拠を統合する融合モジュールからなるマルチエージェントフレームワークです。厳格な予算一致比較（総視点数を制限）の下でも、ViewNavigatorはMultiView-Bench上で多様なベースモデルを改善し、完全なエージェントでは3〜5倍の性能向上を達成しました。この研究は、VLMのマルチビュー推論能力の診断ツールを提供するだけでなく、将来のより堅牢な3D知覚モデルの開発に向けた方向性を示しています。