MultiView-Bench：用于VLM世界中心多视图集成的诊断基准
MultiView-Bench是一个专为评估视觉语言模型（VLM）多视图集成能力而设计的诊断基准。研究表明，当前最先进的VLM在单视图2D任务上表现优异，但在3D空间关系理解和跨视图信息聚合方面存在显著困难。为此，作者提出了ViewNavigator，一个多智能体框架，通过主动选择信息丰富的视角并融合多视图证据，显著提升了模型在MultiView-Bench上的表现。
视觉语言模型（VLM）在单图像任务上已取得显著进展，但现实世界中的许多应用需要模型从多个视角整合信息以理解三维场景。例如，在机械零件组装任务中，机器人必须从不同角度观察零件，并将这些观察融合成一个一致的3D心理模型。然而，现有的VLM基准测试主要关注单视图或有限视图的感知能力，完全忽略了这种核心认知能力：将来自不同视角的观察整合成一个世界中心（离中心）的3D心智模型。
为了填补这一空白，来自多所机构的研究人员引入了MultiView-Bench，这是一个专门设计的诊断基准，用于评估VLM的多视图集成能力，以实现全面的3D场景理解。与现有数据集不同，MultiView-Bench不关注像素级映射或相机相关的导航，而是要求模型将物体位置从瞬时的观测视角中解耦出来，并将其固定在全局坐标系中。这种能力被认为是VLM在部署到下游任务（如机械零件组装）之前的先决条件。
通过对GPT-4V、Gemini等前沿VLM的系统评估，研究人员发现了一致的失败模式：这些模型在单图像的2D平面关系上表现强劲，但在3D空间关系以及跨视图信息聚合方面却遇到明显困难。例如，模型往往难以判断物体在三维空间中的相对位置，或者无法将从不同角度拍摄的图像中的信息结合起来。此外，研究还揭示了VLM中存在的多种偏差，例如难以处理非常规的轴向方向（如倒置或倾斜的物体），对物体颜色和纹理变化敏感，以及在对称场景中容易混淆。
为了克服这些局限性，研究团队提出了ViewNavigator，一个多智能体框架。该框架包含一个视角选择器，能够主动选择信息最丰富的下一个视角；一个感知模块，用于从每个选定的视角提取关键信息；以及一个融合模块，将这些多视图证据整合成一致的场景理解。在严格的预算匹配比较下（即限制总视角数量），ViewNavigator在MultiView-Bench上显著提升了多种基础模型的表现，完整智能体版本甚至实现了3到5倍的性能提升。这一工作不仅为VLM的多视图推理能力提供了诊断工具，也为未来开发更鲁棒的3D感知模型指明了方向。