Supersede: LLMエージェントにおけるメモリ更新ギャップの診断と訓練

大規模言語モデル（LLM）エージェントは、ユーザーの移動、価格更新、計画変更など、長期間のマルチセッション対話において刻々と変化する事実を扱う必要がある。正しく動作するためには、事実の現在値を使用し、古くなった値を捨てる能力が不可欠である。しかし、既存のメモリシステムはこの点で顕著な欠陥を示している。

新たな研究では、実在の会話データを用いてこの能力を切り離し、それが独立した未解決の失敗モードであることを実証した。LongMemEvalデータセットの知識更新サブセットにおいて、エージェントの完全なコンテキストを限定された自己維持メモリに置き換えたところ、最先端モデル（gpt-5.4）でさえ精度が92%から77%に急落した。この差は統計的に有意であり（ペアのマクネマー検定p<0.005）、モデル規模を拡大しても持続した。一方、完全コンテキストの精度は92%近くで飽和していた。したがって、ボトルネックは理解力ではなくメモリ保守にあり、より強力なモデルでは解決できない。

研究者はさらに、この問題が単なるメモリ容量不足によるものかどうかを検証したが、その結論は否定的であった。対話の長さが24倍に増加すると、精度は68%から28%に低下した。また、エージェントに比例して大容量のメモリを付与しても回復は見られなかった（28%対28%、n=25）。失敗は圧縮率ではなく、対話の長さに比例して拡大する。

この課題に対処するため、研究者は「Supersede」を公開した。これはverifiers/prime-rlスタック上で動作するオープンな強化学習環境である。この環境では、測定結果を訓練信号に変換する。エージェントは現在の値に基づいて回答すると報酬を得、古い値を使用すると罰せられる。研究は最終的に、このギャップが訓練可能であることを実証した。Supersede環境で小型オープンモデルQwen2.5-3BをGRPO微調整したところ、実際の未見対話における更新精度がほぼ倍増した（9.0%から16.7%、単一実行）。単調なチェックポイント曲線は、獲得された方策が訓練フレームワークではなく、実際に利得をもたらしていることを示している。

研究者によれば、これは時間的事実通貨性を報酬目標とする初めての訓練可能な環境であり、更新ギャップが測定可能であるだけでなく訓練によって縮小可能であることを示した初めての証拠である。