智能体记忆研究近年来发展迅速,但几乎都集中在文本侧。现有基准很少在交互式环境中检验一个关键问题:智能体何时必须记住它看到的内容,而不是它能写下来的文本。为此,来自 Yujin Tang 等四位作者的研究团队提出了 DMV-Bench,这是首个面向多模态智能体视觉记忆的交互式基准。相关论文以 arXiv:2606.27499v1 提交,属于计算机视觉与模式识别(cs.CV)领域,同时涉及人工智能(cs.AI)和计算与语言(cs.CL),全文共 16 页。
DMV-Bench 的构建基于一个受控的家居电商目录,其中包含 1,000 种产品变体。该目录通过一项“文本泄漏契约”确保每个任务的判别性信号仅存在于像素中,从而避免智能体借助文本描述走捷径。在一系列自主购物会话中,智能体访问的每一张产品图片都带有一个预先渲染的独特附带线索。随后,智能体被要求回忆某个特定线索对应的产品,并导航到该产品的 URL。这种设计模拟了真实场景中仅靠视觉信息才能完成的任务。
受双重编码理论启发,研究团队提出了 DualMem,一种并行维护视觉编码和语言编码的记忆架构。在 DMV-Bench 上,DualMem 在每个链条长度 J(5、10、15、50)下都优于一个基于 caption 的基线以及三个近期多模态智能体记忆系统。实验在 Gemini 2.5 Flash 和 Qwen2.5-VL-7B 两个模型上进行,DualMem 的领先优势在控制记忆库大小和编码位置偏差后依然成立。此外,研究还揭示了一种非对称双重编码机制:视觉通道端到端地承载线索,而语言通道仅扮演较小的查询 grounding 角色。
该工作的主要贡献在于,它首次将多模态智能体的视觉记忆能力置于交互式、可控制的测试环境中进行评估,并提供了可复现的代码(https://github.com/yyyujintang/DMV-Bench)。基准的发布有望推动智能体记忆研究从文本向多模态扩展,并为未来设计更接近人类认知机制的记忆架构提供实验平台。论文的提交时间为 2026 年 6 月 25 日,目前可在 arXiv 上获取 PDF 和实验性 HTML 版本。