多模態智慧體在長時間互動中如何儲存和呼叫記憶,是一個兼具理論意義與工程價值的問題。arXiv 於 2026 年 10 月 8 日釋出的一篇新論文《Intuition with Evidence: Adaptive Dual Memory for Multimodal Agents》對此提出了系統性的解決方案。該論文由 Qiuhe Hong 領銜、共 7 位作者合作完成,歸類於計算機視覺與模式識別(cs.CV)方向,編號為 arXiv:2610.33019v1,DOI 為 10.48550/arXiv.2610.33019。
論文首先重新界定了長期記憶在多模態智慧體中的兩種互補功能。第一種是細粒度的證據回憶,即當任務需要精確引用歷史觀察、影像片段或對話內容時,智慧體必須能夠準確檢索到原始記錄;第二種是內化的解釋能力,即智慧體需要把大量分散的互動經驗壓縮為整體性的理解,用以支撐全域性判斷。前者對應情景記憶(episodic memory),依賴顯式的歷史記錄;後者對應潛在記憶(latent memory),依賴模型內部化的經驗表徵。
作者指出,單一記憶正規化無法覆蓋不同任務對記憶親和力的多樣化需求。情景記憶的主要短板在於證據覆蓋範圍有限、跨記錄整合能力不足,當歷史記錄稀疏或檢索不完整時,智慧體難以還原完整證據鏈;潛在記憶的問題則在於事實落地性較弱,內部化的經驗雖能提供直覺式的全域性把握,卻缺乏可核驗的原始依據。兩種正規化各有盲區,而真實任務往往同時需要二者。
為彌合這一鴻溝,論文提出了一種雙記憶框架:一方面保留模型原生的潛在記憶,作為直覺先驗;另一方面構建多索引的情景記憶,透過檢索條件下的聯合對齊機制實現精確的證據重建。所謂多索引,意味著情景記憶並非單一向量庫,而是以多種索引方式組織,以便在不同檢索需求下都能定位到相關記錄;聯合對齊則把檢索結果與模型內部表徵加以對齊,使證據能夠被有效整合進推理過程。
在推理階段,該框架採用一種無需訓練的 routing 機制,自適應地組合兩類記憶。路由的判據來自兩部分:一是基於 Jensen-Shannon 散度(JSD)的敏感度度量,用於刻畫查詢對兩類記憶的偏好程度;二是置信度代理指標,用於評估當前記憶呼叫結果的可靠程度。二者共同決定某個查詢應當更多依賴直覺性的潛在記憶,還是更多依賴證據性的情景記憶。由於路由機制不需要額外訓練,框架可以直接部署在已有模型之上,降低了適配成本。
實驗方面,作者在多模態基準上進行了廣泛評估,整體效能達到當前最優水平。與單一正規化基線相比,該框架相對原始情景記憶基線平均提升 4.67%。進一步的消融與分析顯示:情景記憶在證據定位類任務中優勢明顯,能夠精確還原區域性證據;潛在記憶則在整合分散資訊、彌補檢索不完美方面貢獻突出,當檢索結果存在缺失時,內化經驗可以起到補償作用。這一結論印證了雙記憶設計的必要性——兩類記憶並非簡單疊加,而是在不同任務結構下各展所長。
從時間線看,該論文於 2026 年 10 月 8 日 16:02:56 UTC 提交第一版,全文約 2.9 MB,目前提供 PDF、實驗性 HTML 以及 TeX 原始碼等多種獲取方式,並附有音訊摘要。論文的貢獻可歸納為三點:明確區分長期記憶的兩種功能定位;提出統一潛在記憶與多索引情景記憶的框架及聯合對齊方法;設計基於 JSD 敏感度與置信度代理的無訓練路由機制,並在多模態基準上驗證其有效性。對於需要長期記憶支撐的多模態智慧體研究而言,這一工作提供了一個兼顧直覺與證據的可行路徑。