AI News HubLIVE
站內改寫1 分鐘閱讀

SF-AMS:面向LLM代理的結構化記憶策略性遺忘框架

SF-AMS通過效用驅動的生存機制和複合重要性評分,動態建模記憶單元的重要性,解決了LLM代理中長上下文依賴導致的推理性能下降問題。在LoCoMo和LongMemEval-s基準測試中,該方法在多種推理任務上顯著超越現有基線,最高F1提升達9.65。

來源arXiv AI作者: Ning Yang, Siqi Li, Miaoxin Shen, Yuan Zhou, Meng Zhang, Tong Li, Haijun Zhang

大型語言模型(LLM)代理在執行多步推理時,經常因長上下文中的冗餘和無關信息而性能下降。為解決這一瓶頸,來自研究團隊的最新成果——SF-AMS(Strategic Forgetting for Agent Memory Systems)——提出了一種策略性遺忘框架,旨在通過動態建模記憶單元的重要性來維持緊湊且高可用的記憶。

該方法摒棄了傳統基於靜態檢索和啓發式衰減的記憶管理方式,轉而採用一種效用驅動的生存機制。該機制根據使用冗餘度和時間信號動態更新記憶的重要性,從而形成層次化的記憶結構,優先保留與實體一致且穩定的信息,同時有效過濾噪聲。在此基礎上,SF-AMS還引入了複合重要性評分(Composite Importance Scoring),整合語義級和實體級信號以提升檢索的魯棒性。這種雙層次的設計使得記憶系統能夠更準確地識別哪些信息對當前和未來任務最為關鍵。

實驗在LoCoMo和LongMemEval-s兩個基準上進行,對比了LightMem、MemO和A-Mem等強基線。結果顯示,SF-AMS在所有任務中均取得一致提升。最大改進出現在基於Qwen2.5-7B的多跳推理任務中,F1分數較最強基線高出9.65;基於GPT-4o-mini的時間推理任務提升6.91 F1;開放域任務提升6.53 F1。這些結果在不同骨幹模型間表現出良好的泛化性,證明了該框架的通用性。

研究團隊認為,將記憶重要性建模為動態效用信號是實現可靠長上下文推理的關鍵。該工作不僅為LLM代理的記憶管理提供了新思路,也為未來構建更高效、更魯棒的智能體系統奠定了基礎。SF-AMS的提出標誌着記憶管理從靜態啓發式向動態學習的重要轉變。