本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

Supersede: LLMエージェントにおけるメモリ更新ギャップの診断と訓練

記事の要約

大規模言語モデル(LLM)エージェントは長期のマルチセッション対話で事実を更新する必要があるが、既存のメモリシステムでは失敗する。最先端モデル(gpt-5.4)でも、限定された自己維持メモリに置き換えると精度が92%から77%に低下。このギャップはメモリ容量不足ではなく、対話の長さに比例して悪化する。研究者は、強化学習を用いて現在の事実を報酬、古い事実を罰する環境「Supersede」を開発。Qwen2.5-3Bをこの環境でGRPO微調整した結果、実際の対話での更新精度が9.0%から16.7%にほぼ倍増した。

ソースarXiv Computational Linguistics著者: Vedant Patel
Supersede: LLMエージェントにおけるメモリ更新ギャップの診断と訓練
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

大規模言語モデル(LLM)エージェントは、ユーザーの移動、価格更新、計画変更など、長期間のマルチセッション対話において刻々と変化する事実を扱う必要がある。正しく動作するためには、事実の現在値を使用し、古くなった値を捨てる能力が不可欠である。しかし、既存のメモリシステムはこの点で顕著な欠陥を示している。

新たな研究では、実在の会話データを用いてこの能力を切り離し、それが独立した未解決の失敗モードであることを実証した。LongMemEvalデータセットの知識更新サブセットにおいて、エージェントの完全なコンテキストを限定された自己維持メモリに置き換えたところ、最先端モデル(gpt-5.4)でさえ精度が92%から77%に急落した。この差は統計的に有意であり(ペアのマクネマー検定p<0.005)、モデル規模を拡大しても持続した。一方、完全コンテキストの精度は92%近くで飽和していた。したがって、ボトルネックは理解力ではなくメモリ保守にあり、より強力なモデルでは解決できない。

研究者はさらに、この問題が単なるメモリ容量不足によるものかどうかを検証したが、その結論は否定的であった。対話の長さが24倍に増加すると、精度は68%から28%に低下した。また、エージェントに比例して大容量のメモリを付与しても回復は見られなかった(28%対28%、n=25)。失敗は圧縮率ではなく、対話の長さに比例して拡大する。

この課題に対処するため、研究者は「Supersede」を公開した。これはverifiers/prime-rlスタック上で動作するオープンな強化学習環境である。この環境では、測定結果を訓練信号に変換する。エージェントは現在の値に基づいて回答すると報酬を得、古い値を使用すると罰せられる。研究は最終的に、このギャップが訓練可能であることを実証した。Supersede環境で小型オープンモデルQwen2.5-3BをGRPO微調整したところ、実際の未見対話における更新精度がほぼ倍増した(9.0%から16.7%、単一実行)。単調なチェックポイント曲線は、獲得された方策が訓練フレームワークではなく、実際に利得をもたらしていることを示している。

研究者によれば、これは時間的事実通貨性を報酬目標とする初めての訓練可能な環境であり、更新ギャップが測定可能であるだけでなく訓練によって縮小可能であることを示した初めての証拠である。

要点と分析を開く

記事インテリジェンス

エンジニア中級

要点

  • LLMエージェントは長期対話で事実更新に失敗し、精度が大幅に低下する。
  • メモリ更新ギャップはモデル規模やメモリ容量ではなく、対話の長さに起因する。
  • Supersede環境は強化学習により時間的事実通貨性を報酬とする。
  • 小型モデルの微調整により、未見対話での精度がほぼ倍増した。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。

Supersede: LLMエージェントにおけるメモリ更新ギャップの診断と訓練 | AI News Hub