マルチモーダルエージェントが持続的な対話を行うとき、長期記憶は二つの異なるが相補的な役割を担う。一つは細粒度の証拠を正確に想起することであり、もう一つは経験を内面化して全体的な理解を得ることである。論文は、既存のエピソード記憶と潜在記憶がそれぞれ明示的な履歴記録と内面化された経験によってこれらの要求に応えてきたと指摘する。しかし、エピソード記憶は証拠の被覆範囲と統合に限界を抱え、潜在記憶は事実への接地が不十分であるため、どちらか一方のパラダイムだけではタスクごとに異なる記憶への親和性に対応できない。
この隔たりを埋めるため、著者らは二重記憶フレームワークを提案する。モデル固有の潜在記憶を直感的な事前分布として位置づけ、複数のインデックスを持つエピソード記憶と統合し、検索条件付きの共同アラインメントによって正確な証拠再構成を実現する。つまり、全体を「直感」で捉える能力と、追跡・検証可能な原証拠の連鎖の両方を保持する設計である。
推論段階では、追加学習に頼らず、クエリごとの記憶親和性に応じて二種類の記憶を適応的に組み合わせる学習不要のルーティング機構を採用する。ルーティングの信号にはJensen-Shannon divergence(JSD)感度と信頼度プロキシを用い、その問いが内面化された直感的知識に適するのか、それとも具体的な証拠検索を必要とするのかを判断する。
著者らはマルチモーダルベンチマークで広範な評価を行い、フレームワークが全体として最先端性能を達成し、標準的なエピソード記憶ベースラインを約4.67%上回ることを示した。さらなる分析では、証拠の位置特定が必要なタスクではエピソード記憶が強みを発揮し、分散した情報の統合や不完全な検索の補償では潜在記憶が重要な役割を果たすことが明らかになった。本論文は2026年10月8日に投稿され、第一著者はQiuhe Hongで他に6名の共著者がいる。分野はコンピュータビジョンとパターン認識(cs.CV)、arXiv番号は2610.33019である。