arXiv 於 2026 年 8 月 10 日釋出了一篇題為《To Keep or Not to Keep: Learning KV Cache Retention in Disaggregated LLM Serving Systems》（留存還是不留存：在解耦式 LLM 服務系統中學習 KV 快取留存）的論文，作者為 Dong Liu、Yanxuan Yu、Eric Jiang、Shu Wang 和 Ying Nian Wu，論文已被 ACM SYSTOR 2026 接收，歸類於機器學習（cs.LG）以及分散式、並行與叢集計算（cs.DC）兩個方向，編號為 arXiv:2610.28637v1，DOI 為 10.48550/arXiv.2610.28637，提交時為 89 KB，作者聯絡郵箱標註為 Dong Liu。
論文的出發點在於解耦式（disaggregated）大語言模型服務架構帶來的根本性變化。這類系統將預填充（prefill）階段與解碼（decode）階段拆分到不同的節點池中執行，從而在 KV 快取的計算位置與消費位置之間引入了一層網路互聯結構。作者指出，這一架構打破了傳統快取策略的一條關鍵假設：快取未命中（miss）不再只意味著本地重新計算，還會額外產生把資料傳送到解碼節點的網路開銷。同樣地，把一個資料塊接納（admit）進全域性快取也需要一次額外的傳輸，因此糟糕的留存決策會同時浪費記憶體與頻寬這兩類寶貴資源。
為解決這一問題，作者提出了名為 KVLearn 的基於學習的框架，用於在解耦式服務中實現成本感知的 KV 快取留存。KVLearn 由三個核心元件構成：第一是輕量級字首複用預測器（Prefix Reuse Predictor，PRP），它依據字首的結構特徵與時間特徵來估計複用機率，且無需修改模型權重；第二是成本感知留存評分（Cost-Aware Retention Score，CARS），它把複用機率轉換為保留或接納的決策，轉換過程綜合考慮重新計算成本、傳輸成本和儲存成本；第三是自適應閾值控制器（Adaptive Threshold Controller，ATC），它根據觀測到的命中率和記憶體壓力線上調整接納閾值。
在實驗方面，作者將 KVLearn 整合到一個全域性解耦式服務拓撲中，並在文本與多模態兩類負載上進行了評測，其中包含由影像和影片衍生出的、複用模式高度異構的大型 KV 塊。結果顯示，與無快取方案（No-Cache）相比，KVLearn 將端到端首 token 時延（time-to-first-token）最多降低 56%；與 LRU-Pool 相比降低 38%；與 Mooncake 風格基線相比降低 33%。同時，相對於 LRU-Pool，KVLearn 將節點間 KV 傳輸量最多削減 53%。在 MM-Session 工作負載上，其吞吐量仍保持在 oracle 方案的約 5% 以內。論文程式碼已在 https://github.com/FastLM/KVLearn 公開。
從更廣的背景看，這項工作觸及瞭解耦式服務架構下快取管理的核心權衡：經典快取策略（如 LRU）只針對本地重算成本做最佳化，而 KVLearn 試圖將網路傳輸成本、儲存成本與重算成本統一納入同一個決策框架，並透過線上閾值調整來適應不斷變化的命中率與記憶體壓力。論文摘要未披露具體的評測硬體、叢集規模或負載規模等細節，感興趣的讀者可查閱全文、TeX 原始碼及音訊摘要等附加材料。