大型語言模型（LLM）在長上下文推理時面臨關鍵值（KV）快取記憶體線性增長的嚴重瓶頸。隨著上下文長度增加，KV快取佔用的視訊記憶體迅速膨脹，成為限制模型支援更長序列的主要障礙。現有的KV快取壓縮方法大多依賴啟發式策略：一方面，啟發式預算分配基於統計先驗而非任務目標，導致不同注意力頭之間的資源錯配；另一方面，啟發式令牌選擇依賴於查詢-鍵互動或靜態歸納偏好（如注意力匯聚），這些方法無法動態適應具體任務的需求。這些問題使得現有方法在高壓縮率下效能顯著下降。
針對這一侷限，研究團隊提出了LKV（Learned KV Eviction）方法，將KV快取壓縮重新表述為一個端到端可微最佳化問題。LKV包含兩個核心元件：LKV-H，用於學習任務最佳化的全域性預算；以及LKV-T，用於推導令牌內在的重要性，而無需例項化注意力矩陣。這種設計完全繞過了手工設計的啟發式規則，使壓縮過程嚴格與任務目標對齊。LKV透過反向傳播直接最佳化壓縮效果，能夠根據具體任務自適應地調整各注意力頭的快取容量和需要保留的令牌。
在廣泛的實驗評估中，LKV在LongBench和RULER兩個主流長上下文基準測試上均取得了最先進的效能。特別是，在LongBench上，LKV僅保留15%的KV快取即可實現接近無損的效能，顯著優於此前的方法。這一結果驗證了LKV在高壓縮率下的有效性。進一步的分析表明，學習到的預算分配是保持壓縮後模型保真度的主要因素，證明資料驅動的分配對於克服手工啟發式的侷限性至關重要。
LKV的提出為LLM的高效推理提供了新的方向。它無需修改模型架構即可直接應用，並且能夠與現有的推理加速技術相結合。論文作者包括Enshuai Zhou等10位研究人員，論文於2026年4月22日提交至arXiv，並被歸類為機器學習（cs.LG）和計算與語言（cs.CL）兩個領域。該工作有望降低長上下文LLM的部署成本，推動其在長文件分析、程式碼生成等場景中的實際應用。