arXiv 于 2026 年 8 月 10 日发布了一篇题为《To Keep or Not to Keep: Learning KV Cache Retention in Disaggregated LLM Serving Systems》（留存还是不留存：在解耦式 LLM 服务系统中学习 KV 缓存留存）的论文，作者为 Dong Liu、Yanxuan Yu、Eric Jiang、Shu Wang 和 Ying Nian Wu，论文已被 ACM SYSTOR 2026 接收，归类于机器学习（cs.LG）以及分布式、并行与集群计算（cs.DC）两个方向，编号为 arXiv:2610.28637v1，DOI 为 10.48550/arXiv.2610.28637，提交时为 89 KB，作者联系邮箱标注为 Dong Liu。
论文的出发点在于解耦式（disaggregated）大语言模型服务架构带来的根本性变化。这类系统将预填充（prefill）阶段与解码（decode）阶段拆分到不同的节点池中运行，从而在 KV 缓存的计算位置与消费位置之间引入了一层网络互联结构。作者指出，这一架构打破了传统缓存策略的一条关键假设：缓存未命中（miss）不再只意味着本地重新计算，还会额外产生把数据传送到解码节点的网络开销。同样地，把一个数据块接纳（admit）进全局缓存也需要一次额外的传输，因此糟糕的留存决策会同时浪费内存与带宽这两类宝贵资源。
为解决这一问题，作者提出了名为 KVLearn 的基于学习的框架，用于在解耦式服务中实现成本感知的 KV 缓存留存。KVLearn 由三个核心组件构成：第一是轻量级前缀复用预测器（Prefix Reuse Predictor，PRP），它依据前缀的结构特征与时间特征来估计复用概率，且无需修改模型权重；第二是成本感知留存评分（Cost-Aware Retention Score，CARS），它把复用概率转换为保留或接纳的决策，转换过程综合考虑重新计算成本、传输成本和存储成本；第三是自适应阈值控制器（Adaptive Threshold Controller，ATC），它根据观测到的命中率和内存压力在线调整接纳阈值。
在实验方面，作者将 KVLearn 集成到一个全局解耦式服务拓扑中，并在文本与多模态两类负载上进行了评测，其中包含由图像和视频衍生出的、复用模式高度异构的大型 KV 块。结果显示，与无缓存方案（No-Cache）相比，KVLearn 将端到端首 token 时延（time-to-first-token）最多降低 56%；与 LRU-Pool 相比降低 38%；与 Mooncake 风格基线相比降低 33%。同时，相对于 LRU-Pool，KVLearn 将节点间 KV 传输量最多削减 53%。在 MM-Session 工作负载上，其吞吐量仍保持在 oracle 方案的约 5% 以内。论文代码已在 https://github.com/FastLM/KVLearn 公开。
从更广的背景看，这项工作触及了解耦式服务架构下缓存管理的核心权衡：经典缓存策略（如 LRU）只针对本地重算成本做优化，而 KVLearn 试图将网络传输成本、存储成本与重算成本统一纳入同一个决策框架，并通过在线阈值调整来适应不断变化的命中率与内存压力。论文摘要未披露具体的评测硬件、集群规模或负载规模等细节，感兴趣的读者可查阅全文、TeX 源码及音频摘要等附加材料。