跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

DMV-Bench:首个用于诊断多模态智能体视觉记忆的交互式基准

文章摘要

研究人员推出 DMV-Bench,这是首个针对多模态智能体视觉记忆的交互式基准,并提出了受双重编码理论启发的 DualMem 记忆架构。在受控的家居电商目录上,DualMem 在多个链条长度和模型上均优于现有基线。

来源arXiv Computer Vision作者: Yujin Tang, Chenming Shang, Ruize Xu, Nikhil Singh
DMV-Bench:首个用于诊断多模态智能体视觉记忆的交互式基准
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

智能体记忆研究近年来发展迅速,但几乎都集中在文本侧。现有基准很少在交互式环境中检验一个关键问题:智能体何时必须记住它看到的内容,而不是它能写下来的文本。为此,来自 Yujin Tang 等四位作者的研究团队提出了 DMV-Bench,这是首个面向多模态智能体视觉记忆的交互式基准。相关论文以 arXiv:2606.27499v1 提交,属于计算机视觉与模式识别(cs.CV)领域,同时涉及人工智能(cs.AI)和计算与语言(cs.CL),全文共 16 页。

DMV-Bench 的构建基于一个受控的家居电商目录,其中包含 1,000 种产品变体。该目录通过一项“文本泄漏契约”确保每个任务的判别性信号仅存在于像素中,从而避免智能体借助文本描述走捷径。在一系列自主购物会话中,智能体访问的每一张产品图片都带有一个预先渲染的独特附带线索。随后,智能体被要求回忆某个特定线索对应的产品,并导航到该产品的 URL。这种设计模拟了真实场景中仅靠视觉信息才能完成的任务。

受双重编码理论启发,研究团队提出了 DualMem,一种并行维护视觉编码和语言编码的记忆架构。在 DMV-Bench 上,DualMem 在每个链条长度 J(5、10、15、50)下都优于一个基于 caption 的基线以及三个近期多模态智能体记忆系统。实验在 Gemini 2.5 Flash 和 Qwen2.5-VL-7B 两个模型上进行,DualMem 的领先优势在控制记忆库大小和编码位置偏差后依然成立。此外,研究还揭示了一种非对称双重编码机制:视觉通道端到端地承载线索,而语言通道仅扮演较小的查询 grounding 角色。

该工作的主要贡献在于,它首次将多模态智能体的视觉记忆能力置于交互式、可控制的测试环境中进行评估,并提供了可复现的代码(https://github.com/yyyujintang/DMV-Bench)。基准的发布有望推动智能体记忆研究从文本向多模态扩展,并为未来设计更接近人类认知机制的记忆架构提供实验平台。论文的提交时间为 2026 年 6 月 25 日,目前可在 arXiv 上获取 PDF 和实验性 HTML 版本。

展开要点与分析

文章情报

工程师进阶

要点

  • DMV-Bench 通过像素级线索注入,迫使智能体真正依赖视觉记忆,而非文本记录。
  • DualMem 架构并行维护视觉与语言编码,在 Gemini 2.5 Flash 和 Qwen2.5-VL-7B 上均取得领先。
  • 该基准设计控制了记忆库大小和编码位置偏差等混淆因素。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。