基于任务质量和系统性能的长上下文服务KV缓存优化基准测试
该论文对KIVI、TurboQuant、SnapKV和CaM等KV缓存优化技术进行了工作量感知的基准测试，评估了它们在Llama-3.1-8B-Instruct和Mistral-7B-Instruct-v0.3模型上的多文档问答、单文档问答、少样本学习和摘要任务中的表现。结果表明，压缩率本身并不能很好地预测端到端性能。KIVI4提供最稳定的质量，SnapKV在长上下文吞吐量方面表现最佳，而CaM在特定问答任务上取得显著提升，但对工作负载敏感。该研究强调了根据工作负载选择KV缓存机制的必要性。
大型语言模型（LLM）的长上下文服务正面临KV缓存快速增长带来的严峻挑战。随着上下文长度增加，KV缓存占用的显存急剧膨胀，限制了服务吞吐量和响应速度。为此，业界提出了多种KV缓存压缩技术，包括量化、剪枝和合并等。然而，由于这些技术通常在不同的模型、任务、预算和服务栈上评估，彼此之间难以直接比较优劣。
为了填补这一空白，一篇新论文提出了一项工作量感知的基准测试，系统比较了四种代表性KV缓存优化机制：KIVI（量化方法）、TurboQuant（快速量化）、SnapKV（剪枝方法）和CaM（合并方法）。研究团队在Llama-3.1-8B-Instruct和Mistral-7B-Instruct-v0.3两个主流模型上，针对LongBench风格的多文档问答、单文档问答、少样本学习和摘要任务进行了评估。测量指标包括任务质量（如准确率）、平均输出吞吐量、平均首次令牌时间以及实际压缩比，并按不同上下文长度分段分析。
研究发现，压缩比本身并不是预测端到端性能的良好指标。这意味着单纯追求高压缩率可能无法带来系统级的收益。具体而言，KIVI4在所有模型中提供了最稳定的任务质量，表明其在减少KV缓存的同时较好地保持了模型输出质量。SnapKV则在长上下文场景下实现了最高的吞吐量，特别适合对延迟敏感的应用。CaM在选定的问答任务上取得了显著提升，但其质量和实际压缩比均表现出较大的工作负载敏感性，即在不同任务上效果差异明显。
这些发现促使研究人员建议，KV缓存机制的选择应基于具体工作负载，而非采用一刀切的压缩策略。该论文为长上下文服务系统的部署提供了实用指导，帮助工程师根据实际需求平衡质量、吞吐量和压缩比。未来，随着LLM上下文长度的进一步扩展，这种工作负载感知的方法将变得更加重要。