在人工智能领域，将大型语言模型（LLM）从纯文本环境扩展到复杂的多模态场景一直是一个重大挑战。尽管视觉语言模型（VLM）在图像理解方面取得了显著进展，但独立使用的VLM往往忽略任务关键信息，导致感知、推理与决策之间存在鸿沟。针对这一问题，由Mohamed Salim Aissi、Clemence Grislain、Clement Romac等研究者组成的团队提出了PRISM框架，旨在通过动态问答（DQA）管道将感知（VLM）和决策（LLM）紧密耦合，从而弥合这一差距。
PRISM的核心创新在于其闭环交互机制。传统的做法是让VLM生成场景描述，然后LLM被动接受该描述进行决策。而PRISM中的LLM不再是被动的接收者，而是主动对VLM的输出进行批判性分析，提出目标导向的问题，并综合VLM的响应生成紧凑的图像描述。这种交互过程使得LLM能够获得尖锐、任务驱动的场景理解，从而做出更优的序列决策。
研究团队在ALFWorld（一个基于文本的具身智能体环境）和Room-to-Room（R2R，一个真实的室内导航基准）上对PRISM进行了评估。实验结果表明：第一，PRISM显著优于最先进的图像基础模型，在多个指标上取得了领先性能；第二，交互式目标导向的感知管道带来了系统性且实质性的性能提升；第三，PRISM完全自动化，无需手工设计问题或答案，这大大增强了其实用性和可扩展性。
PRISM的提出为构建更强大的具身智能体提供了新思路。通过将感知与推理交错进行，PRISM不仅提高了决策的准确性，还展示了如何利用LLM的推理能力来增强VLM的场景理解。这项工作对于未来开发能够在复杂多模态环境中自主行动的AI系统具有重要意义。