マルチモーダル大規模言語モデル（MLLM）は、視覚エンコーダと大規模言語モデルを組み合わせることで視覚理解を再定義してきた。この統合アーキテクチャにより、画像キャプション生成、視覚質問応答、マルチモーダル対話といったタスクで、しばしばゼロショットや少数ショット設定で高い性能を発揮する。その汎用性と柔軟なインターフェースから、MLLMは実世界の視覚言語アプリケーションの有望な基盤となっている。
支援AIは、自然言語を通じてユーザーが環境と対話することを支援することを目的としている。こうしたシナリオでは、堅牢な視覚認識、文脈推論、多言語理解が必要とされ、MLLMがそれを提供できると考えられている。しかし、支援設定における有効性はまだ十分に理解されていない。
そこで、Shayon Dasgupta氏らによる論文「まだそこに到達していない？ 支援AIアプリケーションにおけるMLLMの能力を探る」（2026年6月23日arXiv投稿）では、最先端のMLLMが実際の支援タスクでどの程度機能するかを評価している。具体的には、通貨などの日常物体の認識、シーンテキストに基づく質問への回答、多言語で提示された視覚コンテンツの読解である。
研究チームは、現実世界の自我中心データを収集するために、頭部装着型GoProを使用するNetraLinkシステムを開発し、これらの支援シナリオをカバーするベンチマークを構築した。このベンチマークは一般的なウェブ画像データセットとは異なり、ユーザーの視点から環境情報を直接捉えるため、支援技術の実際の使用ニーズに近い。
論文の要旨によれば、得られた結果は現在のMLLMに関する包括的な診断を提供し、視覚知覚と言語インタラクションに基づく支援技術を実現する上での強みと限界を浮き彫りにしている。本研究はコンピュータビジョンとパターン認識（cs.CV）分野に属し、論文番号はarXiv:2606.25084、関連DOIは10.1145/3774521.3774575である。この研究は、支援シナリオにおけるMLLMの堅牢性と多言語能力を改善するための実証的基盤を提供する。