知識型視覺問答（KB-VQA）旨在評估視覺語言模型（VLM）能否超越視覺證據，檢索、定位並推理外部結構化知識。然而，當前主流的評估方式——答案准確率——隱含地假設正確性是知識推理的可靠代理指標。這一假設依賴於三個關鍵前提：標註答案必須能從關聯知識庫推匯出，問題必須約束充分且措辭嚴謹，視覺場景必須要求基於上下文的消歧。但一項即將發表於ECCV 2026的研究表明，這些前提在現有KB-VQA基準測試中系統性地遭到違反。
由馬謙等人開展的審計工作揭示了大量例項，其中存在答案缺失、答案與知識庫矛盾，或問題表述過於籠統，使得準確率成為誤導性指標。更嚴重的是，現有資料集依賴視覺上平凡的單一實體場景，完全繞過了複雜的視覺到知識對映需求。即使在可控架構下，這些缺陷也會導致模型排名失真和推理能力被高估。
為解決這些問題，作者引入了兩個創新協議：一是原則性的審計-修復協議，用於恢復答案的可推導性和問題的清晰度；二是可控的多實體增強協議，透過引入視覺歧義來挑戰模型的初始檢索和基礎推理能力。在修正和增強設定下的重新評估得到了顯著不同的效能趨勢。該研究呼籲業界反思當前評估協議，並設計更注重互動式、可驗證推理的KB-VQA基準測試，而非簡單的匹配能力。