MemDecay：LLMエージェントのための領域認識型KVキャッシュ削除戦略

大規模言語モデル（LLM）エージェントは、複雑なタスクを処理する際に、システム命令、計画、ユーザーターン、検索文書、ツール出力、中間推論などの異種コンテキストを蓄積します。これらのキー・バリュー（KV）キャッシュは主要なメモリボトルネックとなり得ます。既存の削除ポリシーは通常、すべてのトークンに同じ注意力ベースまたは再帰性ベースのルールを適用し、エージェントオーケストレーターが既に利用可能なセマンティック構造を無視しています。

この課題に対処するため、研究者らは訓練不要の領域認識型KVキャッシュ削除ポリシー MemDecay を提案しました。MemDecayはトークンに領域固有の基本優先度と減衰率を割り当て、トークンが注意を受けたときに保持スコアを更新します。固定キャッシュ予算の下で、最もスコアの低いページを削除し、重要な領域はピン留め（固定）できます。また、測定された注意寿命から減衰率を調整する手順も提供します。

研究者らはQwen2.5-1.5Bおよび3Bモデルを使用し、約450および1,700トークンのコンテキストでMemDecayを評価しました。結果、領域ごとに注意寿命が一桁異なることがわかりました：システムトークンの半減期は148～189デコードステップであるのに対し、スクラッチパッドトークンは14～16ステップでした。ピン留めにより、すべての設定でシステム領域の事実が完全キャッシュ精度で保持され、ベースラインは24のうち最大13しか保持できませんでした。コンテキストが増えるにつれ、領域認識型の保持は有効でしたが、再帰性ベースの保持は崩壊しました。ただし、ピン留めされていないコンテンツでは累積注意保持がより優れており、アブレーション実験により注意スコアの正規化が現在の定式化の主な制限であることが明らかになりました。これらの結果は、セマンティックプロンプト構造がKVキャッシュ管理の堅牢なシグナルであることを示すと同時に、注意ベースの重要度とどのように組み合わせるべきかを明確にしています。

MemDecayの提案は、効率的なLLMエージェント推論のための新しい方向性を提供し、モデル展開や推論コストの最適化に重要な影響を与える可能性があります。今後の研究では、領域認識と他の注意メカニズムの組み合わせをさらに探求し、ピン留めされていないコンテンツの保持を改善することが期待されます。