Kara：通过滑动窗口KV缓存压缩实现高效推理LLM服务
推理语言模型在解码阶段通常会生成很长的思维链（CoT），这会导致KV缓存迅速膨胀。KV缓存占用大量显存，直接拉高解码延迟并限制吞吐量，成为推理模型部署中的核心瓶颈之一。为解决这一问题，KV缓存压缩技术逐渐受到关注：其思路是通过有选择地剔除不重要的KV对、保留对后续解码真正有用的部分，从而降低内存开销。
这篇题为《Kara: Efficient Reasoning LLM Serving via Sliding-Window KV Cache Compression》的论文由Shen Han与另一位作者完成，于2026年5月1日提交至arXiv，属于cs.CL（计算与语言）分类，并交叉列入cs.AI。论文共9页、含6张图，可通过PDF、实验性HTML以及TeX源码等形式获取，DOI经由DataCite分配。
作者指出，现有KV缓存压缩方法存在两个关键局限。第一，这些方法通常采用阈值触发的压缩策略，只有在缓存增长超过某个阈值时才执行压缩。这种策略带来的吞吐量提升可能十分有限，甚至反而降低吞吐量；同时它可能把序列中某些块内的KV对完全清除，从而加剧信息丢失。第二，现有方法一般只保留孤立的KV对，或者保留边界固定的定长块，无法在任意token位置灵活保留大小可变的重要语义片段。
针对上述问题，作者提出Kara，一种滑动窗口式KV缓存压缩方法。与依赖全局阈值触发的方案不同，Kara在解码阶段只对最近生成的上下文（即窗口内的内容）执行压缩。在窗口内部，Kara利用双向注意力对KV对进行打分和筛选，从而识别并保留信息量更大的KV对。
为了让重要的语义信息能够以灵活的形式被保留，作者设计了Token2Chunk模块。该模块将一部分被选中的KV对扩展为块（chunk），使保留下来的内容不再局限于孤立KV对或固定大小的块，而是能够根据重要性自适应地形成不同大小的语义单元。
在工程实现层面，作者将Kara适配到PagedAttention，并基于vLLM构建了推理框架KvLLM。该框架旨在降低KV缓存的内存占用，并有效提升输出吞吐量。论文表示，大量实验表明Kara与KvLLM能够带来持续且一致的性能提升。
从研究定位看，这项工作同时涉及算法层面的缓存压缩策略与系统层面的推理框架实现，属于推理模型高效服务方向。论文摘要未披露具体的实验设置、基线对比方法以及吞吐量与延迟的量化数据，相关细节需查阅全文。论文的评论信息显示其为9页、6图的稿件，提交时间为2026年5月1日15:54:13 UTC，文件大小约120 KB。