私たちはもうそこにいるのか？アシスティブAIアプリケーションにおけるMLLMの能力を探る
本研究では、マルチモーダル大規模言語モデル（MLLM）のアシスティブAIタスクにおける性能を、通貨認識、シーンテキストの質問応答、多言語視覚コンテンツの読み取りを通じて評価しました。研究者らはNetraLinkシステムを開発し、ヘッドマウント型GoProで実世界の一人称視点データを収集し、ベンチマークを作成しました。結果は、現在のMLLMの視覚認識と言語インタラクションにおける強みと限界を明らかにしました。
マルチモーダル大規模言語モデル（MLLM）は、ビジョンエンコーダと大規模言語モデルを組み合わせることで、視覚的理解を再定義しました。この統一アーキテクチャにより、画像キャプショニング、視覚的質問応答、マルチモーダル対話などのタスクで強力なパフォーマンスを発揮し、特にゼロショットや少数ショットの設定で優れています。その汎用的な能力と柔軟なインターフェースにより、MLLMは現実世界の視覚言語アプリケーションの有望な基盤となっています。
アシスティブAIは、ユーザーが自然言語を通じて環境と対話できるようにすることを目的としています。これらのシナリオでは、堅牢な視覚認識、文脈推論、多言語理解が必要であり、MLLMはこれらの能力を提供すると考えられています。しかし、アシスティブ環境における有効性はまだ完全には理解されていません。
本研究では、MLLMがアシスティブAIをサポートできるかどうかを探るため、最先端モデルを現実世界のタスクで評価しました：通貨などの日常物体の認識、シーンテキストに基づく質問応答、複数言語で視覚的に提示されたコンテンツの読み取り。このために、ヘッドマウント型GoProを使用して現実世界の一人称視点データをキャプチャするシステムNetraLinkを開発し、これらのアシスティブシナリオをカバーするベンチマークを収集しました。実験の結果、現在のMLLMは標準的な物体認識では良好に機能するものの、ぼやけたり部分的に隠れたテキストの処理では精度が大幅に低下しました。多言語読解タスクでは、英語などの高リソース言語では高い認識率を示した一方、ヒンディー語などの低リソース言語では支援が不十分でした。また、シーンテキストQAでは一部の情報抽出は可能でしたが、複雑な推論や文脈の関連付けには課題が残りました。研究者らは、これらの限界は訓練データのバイアスや視覚エンコーダの解像度制限に起因すると指摘しています。この研究は、将来のアシスティブAIシステムの設計に重要な指針を提供し、低リソース言語向けの最適化や視覚ノイズに対するロバスト性の向上が必要であることを示しています。NetraLinkベンチマークデータセットは公開されており、学術研究での利用が可能です。