大規模言語モデル（LLM）エージェントは、エピソード記憶を用いて経験を蓄積し検索することで、複雑なタスクを遂行します。しかし、既存の手法では各記憶を独立して扱い、新しい記憶の作成に過去の検索がどのように寄与するかという依存関係を無視しています。この問題を解決するため、Junwei Liao氏を含む12名の研究者はMemQを提案しました。MemQは、Q学習と時間差分（TD(λ)）適格度トレースを組み合わせ、プロvenance有向非巡回グラフ（DAG）上でクレジットを逆伝播する新しいフレームワークです。具体的には、各記憶の作成時にどの記憶が検索されたかを記録するプロvenance DAGを構築し、クレジットの重みをDAGの深さdに応じて(γλ)^dで減衰させます。これにより、時間的な近さではなく構造的な近さに基づいた評価が可能になります。
さらに、研究チームはこの設定を外生コンテキストマルコフ決定過程（EC-MDP）として形式化し、外生的なタスクストリームと内生的なメモリストアを分離しました。EC-MDPの構造は、パラメータγとλの選択に関する原理的なガイダンスも提供します。MemQは、OS操作、関数呼び出し、コード生成、マルチモーダル推論、具現化推論、専門家レベルのQAという6つのベンチマークで評価され、汎化性能と実行時学習の両方で最高の成功率を達成しました。特に、深く関連するプロvenanceチェーンを生成するマルチステップタスクでは最大5.7ポイントの改善が見られ、単一ステップの分類タスクでは0.77ポイントの改善にとどまりました。これは、単一ステップの更新が既に十分であるためです。MemQのコードは近日公開予定であり、LLMエージェントの自己進化的な学習と適応に新たな可能性を開くものと期待されます。