arXiv 於 2026 年 8 月 10 日發佈了一篇題為《To Keep or Not to Keep: Learning KV Cache Retention in Disaggregated LLM Serving Systems》（留存還是不留存：在解耦式 LLM 服務系統中學習 KV 緩存留存）的論文，作者為 Dong Liu、Yanxuan Yu、Eric Jiang、Shu Wang 和 Ying Nian Wu，論文已被 ACM SYSTOR 2026 接收，歸類於機器學習（cs.LG）以及分佈式、並行與集羣計算（cs.DC）兩個方向，編號為 arXiv:2610.28637v1，DOI 為 10.48550/arXiv.2610.28637，提交時為 89 KB，作者聯繫郵箱標註為 Dong Liu。
論文的出發點在於解耦式（disaggregated）大語言模型服務架構帶來的根本性變化。這類系統將預填充（prefill）階段與解碼（decode）階段拆分到不同的節點池中運行，從而在 KV 緩存的計算位置與消費位置之間引入了一層網絡互聯結構。作者指出，這一架構打破了傳統緩存策略的一條關鍵假設：緩存未命中（miss）不再只意味着本地重新計算，還會額外產生把數據傳送到解碼節點的網絡開銷。同樣地，把一個數據塊接納（admit）進全局緩存也需要一次額外的傳輸，因此糟糕的留存決策會同時浪費內存與帶寬這兩類寶貴資源。
為解決這一問題，作者提出了名為 KVLearn 的基於學習的框架，用於在解耦式服務中實現成本感知的 KV 緩存留存。KVLearn 由三個核心組件構成：第一是輕量級前綴複用預測器（Prefix Reuse Predictor，PRP），它依據前綴的結構特徵與時間特徵來估計複用概率，且無需修改模型權重；第二是成本感知留存評分（Cost-Aware Retention Score，CARS），它把複用概率轉換為保留或接納的決策，轉換過程綜合考慮重新計算成本、傳輸成本和存儲成本；第三是自適應閾值控制器（Adaptive Threshold Controller，ATC），它根據觀測到的命中率和內存壓力在線調整接納閾值。
在實驗方面，作者將 KVLearn 集成到一個全局解耦式服務拓撲中，並在文本與多模態兩類負載上進行了評測，其中包含由圖像和視頻衍生出的、複用模式高度異構的大型 KV 塊。結果顯示，與無緩存方案（No-Cache）相比，KVLearn 將端到端首 token 時延（time-to-first-token）最多降低 56%；與 LRU-Pool 相比降低 38%；與 Mooncake 風格基線相比降低 33%。同時，相對於 LRU-Pool，KVLearn 將節點間 KV 傳輸量最多削減 53%。在 MM-Session 工作負載上，其吞吐量仍保持在 oracle 方案的約 5% 以內。論文代碼已在 https://github.com/FastLM/KVLearn 公開。
從更廣的背景看，這項工作觸及瞭解耦式服務架構下緩存管理的核心權衡：經典緩存策略（如 LRU）只針對本地重算成本做優化，而 KVLearn 試圖將網絡傳輸成本、存儲成本與重算成本統一納入同一個決策框架，並通過在線閾值調整來適應不斷變化的命中率與內存壓力。論文摘要未披露具體的評測硬件、集羣規模或負載規模等細節，感興趣的讀者可查閲全文、TeX 源碼及音頻摘要等附加材料。