MultiView-Bench：用於VLM世界中心多視圖集成的診斷基準
MultiView-Bench是一個專為評估視覺語言模型（VLM）多視圖集成能力而設計的診斷基準。研究表明，當前最先進的VLM在單視圖2D任務上表現優異，但在3D空間關係理解和跨視圖信息聚合方面存在顯著困難。為此，作者提出了ViewNavigator，一個多智能體框架，通過主動選擇信息豐富的視角並融合多視圖證據，顯著提升了模型在MultiView-Bench上的表現。
視覺語言模型（VLM）在單圖像任務上已取得顯著進展，但現實世界中的許多應用需要模型從多個視角整合信息以理解三維場景。例如，在機械零件組裝任務中，機器人必須從不同角度觀察零件，並將這些觀察融合成一個一致的3D心理模型。然而，現有的VLM基準測試主要關注單視圖或有限視圖的感知能力，完全忽略了這種核心認知能力：將來自不同視角的觀察整合成一個世界中心（離中心）的3D心智模型。
為了填補這一空白，來自多所機構的研究人員引入了MultiView-Bench，這是一個專門設計的診斷基準，用於評估VLM的多視圖集成能力，以實現全面的3D場景理解。與現有數據集不同，MultiView-Bench不關注像素級映射或相機相關的導航，而是要求模型將物體位置從瞬時的觀測視角中解耦出來，並將其固定在全局座標系中。這種能力被認為是VLM在部署到下游任務（如機械零件組裝）之前的先決條件。
通過對GPT-4V、Gemini等前沿VLM的系統評估，研究人員發現了一致的失敗模式：這些模型在單圖像的2D平面關係上表現強勁，但在3D空間關係以及跨視圖信息聚合方面卻遇到明顯困難。例如，模型往往難以判斷物體在三維空間中的相對位置，或者無法將從不同角度拍攝的圖像中的信息結合起來。此外，研究還揭示了VLM中存在的多種偏差，例如難以處理非常規的軸向方向（如倒置或傾斜的物體），對物體顏色和紋理變化敏感，以及在對稱場景中容易混淆。
為了克服這些侷限性，研究團隊提出了ViewNavigator，一個多智能體框架。該框架包含一個視角選擇器，能夠主動選擇信息最豐富的下一個視角；一個感知模塊，用於從每個選定的視角提取關鍵信息；以及一個融合模塊，將這些多視圖證據整合成一致的場景理解。在嚴格的預算匹配比較下（即限制總視角數量），ViewNavigator在MultiView-Bench上顯著提升了多種基礎模型的表現，完整智能體版本甚至實現了3到5倍的性能提升。這一工作不僅為VLM的多視圖推理能力提供了診斷工具，也為未來開發更魯棒的3D感知模型指明瞭方向。