大型语言模型（LLM）在长上下文推理时面临关键值（KV）缓存内存线性增长的严重瓶颈。随着上下文长度增加，KV缓存占用的显存迅速膨胀，成为限制模型支持更长序列的主要障碍。现有的KV缓存压缩方法大多依赖启发式策略：一方面，启发式预算分配基于统计先验而非任务目标，导致不同注意力头之间的资源错配；另一方面，启发式令牌选择依赖于查询-键交互或静态归纳偏好（如注意力汇聚），这些方法无法动态适应具体任务的需求。这些问题使得现有方法在高压缩率下性能显著下降。
针对这一局限，研究团队提出了LKV（Learned KV Eviction）方法，将KV缓存压缩重新表述为一个端到端可微优化问题。LKV包含两个核心组件：LKV-H，用于学习任务优化的全局预算；以及LKV-T，用于推导令牌内在的重要性，而无需实例化注意力矩阵。这种设计完全绕过了手工设计的启发式规则，使压缩过程严格与任务目标对齐。LKV通过反向传播直接优化压缩效果，能够根据具体任务自适应地调整各注意力头的缓存容量和需要保留的令牌。
在广泛的实验评估中，LKV在LongBench和RULER两个主流长上下文基准测试上均取得了最先进的性能。特别是，在LongBench上，LKV仅保留15%的KV缓存即可实现接近无损的性能，显著优于此前的方法。这一结果验证了LKV在高压缩率下的有效性。进一步的分析表明，学习到的预算分配是保持压缩后模型保真度的主要因素，证明数据驱动的分配对于克服手工启发式的局限性至关重要。
LKV的提出为LLM的高效推理提供了新的方向。它无需修改模型架构即可直接应用，并且能够与现有的推理加速技术相结合。论文作者包括Enshuai Zhou等10位研究人员，论文于2026年4月22日提交至arXiv，并被归类为机器学习（cs.LG）和计算与语言（cs.CL）两个领域。该工作有望降低长上下文LLM的部署成本，推动其在长文档分析、代码生成等场景中的实际应用。