大規模言語モデル（LLM）をテキストのみの環境から複雑なマルチモーダル設定に拡張することは、依然として大きな課題です。視覚言語モデル（VLM）は画像理解に優れていますが、単独で使用するとタスクに重要な情報を見落としがちで、知覚、推論、決定の間にギャップが生じます。この問題に取り組むため、Mohamed Salim Aissi、Clemence Grislain、Clement Romacらの研究者チームは、PRISMフレームワークを提案しました。PRISMは、動的質問応答（DQA）パイプラインを通じてVLM（知覚）とLLM（決定）を密に結合し、このギャップを埋めることを目的としています。
PRISMの核心は、閉ループ相互作用メカニズムにあります。従来のアプローチでは、VLMがシーンの説明を生成し、LLMがその説明を受動的に受け入れて意思決定を行います。しかしPRISMでは、LLMは受動的に受け入れるのではなく、VLMの出力を批判的に分析し、目標指向の質問を投げかけ、VLMの応答を統合してコンパクトな画像記述を合成します。この相互作用により、LLMはタスク駆動の鋭いシーン理解を得て、より適切な逐次意思決定が可能になります。
研究チームは、ALFWorld（テキストベースの身体化エージェント環境）とRoom-to-Room（R2R、実際の屋内ナビゲーションベンチマーク）でPRISMを評価しました。実験結果は以下の通りです。第一に、PRISMは最先端の画像ベースモデルを大幅に上回り、複数の指標でリーダーシップを発揮しました。第二に、インタラクティブな目標指向知覚パイプラインは体系的かつ実質的な性能向上をもたらしました。第三に、PRISMは完全に自動化されており、手作りの質問や回答を必要としないため、実用性と拡張性が大幅に向上しています。
PRISMの提案は、より強力な身体化エージェントを構築するための新しい道を開きます。知覚と推論をインターリーブすることで、PRISMは意思決定の正確性を高めるだけでなく、LLMの推論能力を活用してVLMのシーン理解を強化する方法を示しています。この研究は、複雑なマルチモーダル環境で自律的に行動できるAIシステムの開発に重要な意味を持ちます。