MultiView-Bench：用於VLM世界中心多檢視整合的診斷基準
MultiView-Bench是一個專為評估視覺語言模型（VLM）多檢視整合能力而設計的診斷基準。研究表明，當前最先進的VLM在單檢視2D任務上表現優異，但在3D空間關係理解和跨檢視資訊聚合方面存在顯著困難。為此，作者提出了ViewNavigator，一個多智慧體框架，透過主動選擇資訊豐富的視角並融合多檢視證據，顯著提升了模型在MultiView-Bench上的表現。
視覺語言模型（VLM）在單影像任務上已取得顯著進展，但現實世界中的許多應用需要模型從多個視角整合資訊以理解三維場景。例如，在機械零件組裝任務中，機器人必須從不同角度觀察零件，並將這些觀察融合成一個一致的3D心理模型。然而，現有的VLM基準測試主要關注單檢視或有限檢視的感知能力，完全忽略了這種核心認知能力：將來自不同視角的觀察整合成一個世界中心（離中心）的3D心智模型。
為了填補這一空白，來自多所機構的研究人員引入了MultiView-Bench，這是一個專門設計的診斷基準，用於評估VLM的多檢視整合能力，以實現全面的3D場景理解。與現有資料集不同，MultiView-Bench不關注畫素級對映或相機相關的導航，而是要求模型將物體位置從瞬時的觀測視角中解耦出來，並將其固定在全域性座標系中。這種能力被認為是VLM在部署到下游任務（如機械零件組裝）之前的先決條件。
透過對GPT-4V、Gemini等前沿VLM的系統評估，研究人員發現了一致的失敗模式：這些模型在單影像的2D平面關係上表現強勁，但在3D空間關係以及跨檢視資訊聚合方面卻遇到明顯困難。例如，模型往往難以判斷物體在三維空間中的相對位置，或者無法將從不同角度拍攝的影像中的資訊結合起來。此外，研究還揭示了VLM中存在的多種偏差，例如難以處理非常規的軸向方向（如倒置或傾斜的物體），對物體顏色和紋理變化敏感，以及在對稱場景中容易混淆。
為了克服這些侷限性，研究團隊提出了ViewNavigator，一個多智慧體框架。該框架包含一個視角選擇器，能夠主動選擇資訊最豐富的下一個視角；一個感知模組，用於從每個選定的視角提取關鍵資訊；以及一個融合模組，將這些多檢視證據整合成一致的場景理解。在嚴格的預算匹配比較下（即限制總視角數量），ViewNavigator在MultiView-Bench上顯著提升了多種基礎模型的表現，完整智慧體版本甚至實現了3到5倍的效能提升。這一工作不僅為VLM的多檢視推理能力提供了診斷工具，也為未來開發更魯棒的3D感知模型指明瞭方向。