知識ベース視覚質問応答(KB-VQA)では、画像から直接観察できる内容を超えて、視覚的なクエリを外部知識に接地する必要がある。近年のマルチモーダル大規模言語モデル(MLLM)は強い知覚能力を示すが、細粒度のエンティティレベルとエビデンスレベルの両方の接地が求められるKB-VQAタスクでは苦戦している。既存のマルチモーダル検索拡張生成(MM-RAG)手法の多くは、エンティティ判別とセクションレベルのエビデンスランキングを単一の再ランキング段階に密結合しており、コストが高く汎化性能も限定的である。
本論文は、既存のMM-RAGソリューションをワークフローの観点から再検討し、エンティティレベルとファクトレベルの両方の接地が主要なボトルネックであると主張する。研究者らは、MLLMがオープンエンドなエンティティ命名では失敗することが多いものの、少数の候補名から選択する場合には正しいエンティティをよりよく識別できることを観察した。この洞察に基づき、著者らはエンティティ識別をセクションレベルの再ランキングから分離する、シンプルで訓練不要の「識別優先回答」(Identify-Before-Answer, IBA)フレームワークを提案する。
IBAフレームワークの核心は2段階のプロセスにある。まず、MLLMに候補名のみを使用して高信頼度のエンティティを選択させる。次に、既存のテキストリランカーを用いてエビデンス選択を行う。このアプローチにより、複雑な共同再ランキングの訓練を回避しつつ、全体的な性能を向上させる。研究チームはEncyclopedic-VQAとInfoSeekの2つのデータセットで実験を行い、IBA手法が微調整されたマルチモーダル再ランキングベースラインを一貫して上回り、訓練と推論の複雑性を低減することを示した。
さらに分析により、性能向上はより正確なエンティティ識別だけでなく、正しいエンティティが固定された後に情報量の多いエビデンスを選択できることにも起因することが明らかになった。これはエンティティ接地とエビデンス選択の2段階を分離する設計の実用的価値を示している。本論文はACL 2026 Findingsに採択され、著者らは再現性を容易にするために実装コードを公開している。この研究はKB-VQA分野に効率的で追加訓練不要のソリューションを提供し、マルチモーダル検索拡張生成システムの実展開を促進する可能性がある。