エージェントの記憶研究は近年急速に成熟してきたが、そのほとんどはテキスト側に集中している。既存のベンチマークの多くは、インタラクティブ環境において、エージェントが「書き留められる内容」ではなく「見た内容」を本当に記憶する必要があるのはどのような場合かを問うていない。Yujin Tangら4名の研究チームは、この問いに答えるため、マルチモーダルエージェントの視覚記憶に特化した初のインタラクティブベンチマーク「DMV-Bench」を提案した。論文はarXiv:2606.27499v1として2026年6月25日に投稿され、コンピュータビジョンとパターン認識(cs.CV)に分類されつつ、人工知能(cs.AI)および計算と言語(cs.CL)にも関連する。全文は16ページにわたる。
DMV-Benchは、1,000種類の製品バリエーションを含む制御された家具ECカタログ上に構築されている。このカタログでは「テキスト漏洩契約」により、各タスクの識別信号がピクセル内のみに保持される。つまり、エージェントはテキスト記述に頼ってタスクを解決することができない。一連の自律的なショッピングセッションにおいて、訪問した各製品画像には固有の事前レンダリングされた付随的手がかりが含まれており、エージェントは後になって特定の手がかりに対応する製品を想起し、そのURLにナビゲートするよう求められる。この設計は、視覚情報のみに依存する必要がある現実的なシナリオを模倣している。
研究チームは二重符号化理論に触発され、視覚コードと言語コードを並列に維持する記憶アーキテクチャ「DualMem」を提案した。DMV-Bench上で、DualMemはチェーン長J(5、10、15、50)のすべてにおいて、キャプションベースラインおよび最近のマルチモーダルエージェント記憶システム3種を上回った。実験はGemini 2.5 FlashとQwen2.5-VL-7Bの両モデルで実施され、DualMemの優位性は記憶バンクのサイズや符号化位置バイアスを制御した後でも維持された。さらに、視覚チャネルが手がかりをエンドツーエンドで運び、言語チャネルがクエリのグラウンディングにおいて小さい役割を果たすという非対称な二重符号化体制も明らかになった。
この研究の主な貢献は、マルチモーダルエージェントの視覚記憶能力を、インタラクティブで制御可能なテスト環境で初めて評価した点にある。コードはGitHub(https://github.com/yyyujintang/DMV-Bench)で公開されており、再現可能な実験基盤を提供する。本ベンチマークの公開は、エージェント記憶研究をテキストからマルチモーダルへと拡張し、人間の認知メカニズムにより近い記憶アーキテクチャの設計に向けた実験プラットフォームとなることが期待される。