大型語言模型（LLM）代理在執行復雜任務時，通常依賴情景記憶來積累和檢索過去的經驗。然而，現有的記憶增強方法往往將每個記憶視為獨立的實體，在評估檢索質量時忽視了記憶之間的依賴關係——即一個記憶的建立可能依賴於之前檢索到的其他記憶。為了彌補這一根本性缺陷，由Junwei Liao等12位研究者組成的團隊提出了MemQ，一種將Q學習與時間差分（TD(λ)）資格跡相結合的新型記憶增強框架。MemQ的核心創新在於，它透過構建一個溯源有向無環圖（DAG）來記錄每個新記憶建立時所檢索到的記憶，並利用資格跡沿DAG反向傳播信用分數。具體而言，信用權重按(γλ)^d衰減，其中d代表DAG的深度，從而用結構接近性取代了傳統的時間距離度量。這一設計使得代理能夠更準確地評估哪些記憶對後續任務真正有價值。
為了從理論上鞏固這一方法，研究人員還形式化了一個外生上下文馬爾可夫決策過程（EC-MDP），其因子化轉移機制將外生的任務流與內生的記憶儲存解耦。這一形式化不僅揭示了MemQ的工作原理，還為引數選擇提供了原則性指導。在多步任務中，代理需要按順序檢索多個相互依賴的記憶，而MemQ透過DAG結構能夠捕捉到這種依賴鏈，從而在信用分配上實現更精細的控制。
在涵蓋作業系統互動、函式呼叫、程式碼生成、多模態推理、具身推理和專家級問答等六個不同領域的基準測試中，MemQ在泛化評估和執行時學習方面均取得了最高的成功率。值得注意的是，在那些需要深度溯源鏈的多步任務上，MemQ的效能提升高達5.7個百分點；而在簡單的單步分類任務上，提升幅度僅為0.77個百分點，因為傳統的單步更新方法在這些場景下已經足夠。此外，論文還對γ和λ兩個引數與EC-MDP結構的相互作用進行了深入分析，為未來的研究提供了堅實的基礎。MemQ的程式碼計劃在不久後開源，這將進一步推動LLM代理在複雜環境中的自主學習和適應性進化。