在人工智慧領域，將大型語言模型（LLM）從純文本環境擴充套件到複雜的多模態場景一直是一個重大挑戰。儘管視覺語言模型（VLM）在影像理解方面取得了顯著進展，但獨立使用的VLM往往忽略任務關鍵資訊，導致感知、推理與決策之間存在鴻溝。針對這一問題，由Mohamed Salim Aissi、Clemence Grislain、Clement Romac等研究者組成的團隊提出了PRISM框架，旨在透過動態問答（DQA）管道將感知（VLM）和決策（LLM）緊密耦合，從而彌合這一差距。
PRISM的核心創新在於其閉環互動機制。傳統的做法是讓VLM生成場景描述，然後LLM被動接受該描述進行決策。而PRISM中的LLM不再是被動的接收者，而是主動對VLM的輸出進行批判性分析，提出目標導向的問題，並綜合VLM的響應生成緊湊的影像描述。這種互動過程使得LLM能夠獲得尖銳、任務驅動的場景理解，從而做出更優的序列決策。
研究團隊在ALFWorld（一個基於文本的具身智慧體環境）和Room-to-Room（R2R，一個真實的室內導航基準）上對PRISM進行了評估。實驗結果表明：第一，PRISM顯著優於最先進的影像基礎模型，在多個指標上取得了領先效能；第二，互動式目標導向的感知管道帶來了系統性且實質性的效能提升；第三，PRISM完全自動化，無需手工設計問題或答案，這大大增強了其實用性和可擴充套件性。
PRISM的提出為構建更強大的具身智慧體提供了新思路。透過將感知與推理交錯進行，PRISM不僅提高了決策的準確性，還展示瞭如何利用LLM的推理能力來增強VLM的場景理解。這項工作對於未來開發能夠在複雜多模態環境中自主行動的AI系統具有重要意義。