大規模言語モデル（LLM）の長文推論は、キー・バリュー（KV）キャッシュメモリの線形成長がボトルネックとなる問題に直面しています。コンテキスト長が増大するにつれてKVキャッシュが消費するメモリは急増し、モデルがより長い系列を扱う能力を制限しています。既存のKVキャッシュ圧縮手法はほとんどがヒューリスティックに依存しており、以下の限界があります。まず、ヒューリスティックな予算配分は統計的事前分布に基づくため、タスク目標と乖離しリソースの誤配分を引き起こします。次に、ヒューリスティックなトークン選択は、クエリとキーの相互作用や静的な帰納バイアス（アテンションシンクなど）に頼るため、タスクごとに最適な選択ができません。その結果、高い圧縮率では性能が著しく低下していました。
この問題を解決するため、研究チームはLKV（Learned KV Eviction）を提案しました。LKVはKVキャッシュ圧縮をエンドツーエンドの微分可能最適化問題として再定式化します。LKVは二つの主要コンポーネントから構成されます。LKV-Hはタスク最適化されたグローバル予算を学習し、LKV-Tはアテンション行列を具体化せずに内在的なKV重要度を導出します。この設計はヒューリスティックな代理指標を完全に排除し、圧縮をタスク目標に厳密に従わせます。LKVは誤差逆伝播を通じて圧縮効果を直接最適化し、与えられたタスクに応じて各アテンションヘッドのキャッシュ容量や保持すべきトークンを適応的に調整できます。
広範な評価実験において、LKVはLongBenchおよびRULERの二つの主要な長文ベンチマークで最新の性能を達成しました。特にLongBenchでは、KVキャッシュのわずか15%を保持するだけでほぼロスレスな性能を実現し、従来手法を大きく上回りました。この結果は、高圧縮率下でのLKVの有効性を明確に示しています。さらに分析により、学習された予算配分が圧縮後のモデル忠実度の主要な推進要因であることが明らかになり、手作りのヒューリスティックの限界を克服するにはデータ駆動型の配分が不可欠であることが証明されました。
LKVの登場はLLMの効率的な推論に新たな道を開きます。モデルアーキテクチャの変更を必要とせず、既存の推論高速化技術と組み合わせて使用できます。論文はEnshuai Zhouら10名の研究者によって執筆され、2026年4月22日にarXivに投稿されました。分野は機械学習（cs.LG）と計算と言語（cs.CL）に分類されています。この研究は、長文LLMのデプロイコストを削減し、長文解析やコード生成などの実用シナリオへの応用を促進すると期待されます。