プレフィルとデコードを異なるノードプールに分離して実行する分離型（disaggregated）LLMサービングでは、KVキャッシュの計算位置と消費位置の間にネットワークファブリックが介在する。論文は、この構造が従来のキャッシュポリシーの重要な前提を崩すと指摘する。すなわち、キャッシュミスはローカルな再計算だけでなく、デコードノードへのネットワーク転送も伴う。同様に、ブロックをグローバルキャッシュへ受け入れる際にも追加の転送が必要となるため、不適切な保持判断はメモリと帯域の双方を浪費する。
著者らはこの課題に対し、分離型サービングにおけるコストを意識した学習ベースのKVキャッシュ保持フレームワーク「KVLearn」を提案する。KVLearnは三つの要素で構成される。第一に、軽量なPrefix Reuse Predictor（PRP）で、モデル重みを変更することなく、プレフィックスの構造的特徴と時間的特徴から再利用確率を推定する。第二に、Cost-Aware Retention Score（CARS）で、再利用確率に再計算コスト・転送コスト・保存コストを組み合わせ、保持か受け入れかの二者択一の判断へ変換する。第三に、Adaptive Threshold Controller（ATC）で、実際に観測されたヒット率とメモリ圧迫度に応じて受け入れしきい値をオンラインで調整し、負荷変動に追随できるようにする。
研究チームはKVLearnをグローバルな分離型サービングトポロジに統合し、テキストとマルチモーダルの負荷で評価した。評価には、画像や動画由来の大規模なKVブロックで再利用パターンが大きく異なるケースも含まれる。その結果、エンドツーエンドの初回トークン時間（TTFT）は、No-Cache比で最大56%、LRU-Pool比で38%、Mooncake系ベースライン比で33%削減された。ノード間のKV転送量はLRU-Pool比で最大53%削減されている。マルチモーダルのMM-Sessionでは、スループットがオラクルから約5%以内に収まった。
本論文はACM SYSTOR 2026に採択され、コードはGitHubのFastLM/KVLearnリポジトリで公開されている。分離型アーキテクチャにおけるキャッシュ管理のコストモデルを「ローカル再計算」から「再計算＋ネットワーク転送＋保存」のトレードオフへと拡張し、変化する再利用パターンにオンライン学習で適応する点に意義がある。