多模态智能体在长时间交互中如何保存和调用记忆,是一个兼具理论意义与工程价值的问题。arXiv 于 2026 年 10 月 8 日发布的一篇新论文《Intuition with Evidence: Adaptive Dual Memory for Multimodal Agents》对此提出了系统性的解决方案。该论文由 Qiuhe Hong 领衔、共 7 位作者合作完成,归类于计算机视觉与模式识别(cs.CV)方向,编号为 arXiv:2610.33019v1,DOI 为 10.48550/arXiv.2610.33019。
论文首先重新界定了长期记忆在多模态智能体中的两种互补功能。第一种是细粒度的证据回忆,即当任务需要精确引用历史观察、图像片段或对话内容时,智能体必须能够准确检索到原始记录;第二种是内化的解释能力,即智能体需要把大量分散的交互经验压缩为整体性的理解,用以支撑全局判断。前者对应情景记忆(episodic memory),依赖显式的历史记录;后者对应潜在记忆(latent memory),依赖模型内部化的经验表征。
作者指出,单一记忆范式无法覆盖不同任务对记忆亲和力的多样化需求。情景记忆的主要短板在于证据覆盖范围有限、跨记录整合能力不足,当历史记录稀疏或检索不完整时,智能体难以还原完整证据链;潜在记忆的问题则在于事实落地性较弱,内部化的经验虽能提供直觉式的全局把握,却缺乏可核验的原始依据。两种范式各有盲区,而真实任务往往同时需要二者。
为弥合这一鸿沟,论文提出了一种双记忆框架:一方面保留模型原生的潜在记忆,作为直觉先验;另一方面构建多索引的情景记忆,通过检索条件下的联合对齐机制实现精确的证据重建。所谓多索引,意味着情景记忆并非单一向量库,而是以多种索引方式组织,以便在不同检索需求下都能定位到相关记录;联合对齐则把检索结果与模型内部表征加以对齐,使证据能够被有效整合进推理过程。
在推理阶段,该框架采用一种无需训练的 routing 机制,自适应地组合两类记忆。路由的判据来自两部分:一是基于 Jensen-Shannon 散度(JSD)的敏感度度量,用于刻画查询对两类记忆的偏好程度;二是置信度代理指标,用于评估当前记忆调用结果的可靠程度。二者共同决定某个查询应当更多依赖直觉性的潜在记忆,还是更多依赖证据性的情景记忆。由于路由机制不需要额外训练,框架可以直接部署在已有模型之上,降低了适配成本。
实验方面,作者在多模态基准上进行了广泛评估,整体性能达到当前最优水平。与单一范式基线相比,该框架相对原始情景记忆基线平均提升 4.67%。进一步的消融与分析显示:情景记忆在证据定位类任务中优势明显,能够精确还原局部证据;潜在记忆则在整合分散信息、弥补检索不完美方面贡献突出,当检索结果存在缺失时,内化经验可以起到补偿作用。这一结论印证了双记忆设计的必要性——两类记忆并非简单叠加,而是在不同任务结构下各展所长。
从时间线看,该论文于 2026 年 10 月 8 日 16:02:56 UTC 提交第一版,全文约 2.9 MB,目前提供 PDF、实验性 HTML 以及 TeX 源码等多种获取方式,并附有音频摘要。论文的贡献可归纳为三点:明确区分长期记忆的两种功能定位;提出统一潜在记忆与多索引情景记忆的框架及联合对齐方法;设计基于 JSD 敏感度与置信度代理的无训练路由机制,并在多模态基准上验证其有效性。对于需要长期记忆支撑的多模态智能体研究而言,这一工作提供了一个兼顾直觉与证据的可行路径。