知識ベース視覚質問応答（KB-VQA）は、視覚言語モデル（VLM）が視覚証拠を超えた外部構造知識を検索、接地、推論できるかを評価することを目的としている。実際には、回答精度が主要な評価指標として広く採用され、正確性が知識接地推論の代理と暗黙的に見なされている。しかし、既存のKB-VQAベンチマークでは、この代理はしばしば見落とされる重要な仮説に依存しており、ベンチマークの問題によって信頼できなくなっている。すなわち、注釈付き回答は関連知識ベースから導出可能でなければならず、質問は十分な制約で明確に表現され、視覚設定は接地された曖昧性解消を意味的に必要としなければならない。
本研究では、これらの仮説が既存のKB-VQAベンチマークで系統的に違反されていることを示す。監査により、回答の欠落や矛盾、および不十分な質問が多数存在し、精度を誤解を招く指標にしていることが明らかになった。さらに、既存データセットは視覚的に単純な単一エンティティのシーンに依存しており、高度な視覚から知識へのマッピングの必要性を回避している。制御されたアーキテクチャを用いても、これらの欠陥がモデルランキングを歪め、推論能力を過大評価することを実証する。
これに対処するため、著者らは（1）回答の導出可能性と質問の明確性を回復する原則的な監査・修復プロトコルと、（2）視覚的曖昧性を導入して初期検索と接地推論に挑戦する制御されたマルチエンティティ拡張プロトコルを導入する。修正および拡張設定での再評価は、著しく異なる性能傾向をもたらす。この発見は、評価プロトコルを再考し、単純なマッチングよりも検証可能な推論を優先する、より相互作用を意識したKB-VQAベンチマークの設計を求めるものである。
本論文はECCV 2026に採択され、データセットとコードは公開されている。研究は計算言語学、コンピュータビジョン、情報検索、マルチメディアの主題に及ぶ。著者はQian Maら4名で、2026年6月30日に提出された。