查询可见性如何改变KV缓存压缩排名：一项匹配预算的审计

KV缓存压缩是加速大语言模型推理的关键技术，但现有评估方法存在根本性缺陷。来自arXiv的一项新研究（arXiv:2607.11942）对六种已发表的压缩方法进行了匹配预算审计，揭示了查询可见性对性能排名的决定性影响。研究由Daming Luo等人完成，于2026年7月11日提交。

当前主流评估采用查询感知协议：将查询与上下文拼接后再压缩。然而，KV缓存的实际经济价值在于复用——压缩一份文档，多次用于回答不同问题。在这种部署中，压缩必须在查询不可知（即未见任何问题）的情况下完成。研究团队指出，现有文献中的评估方式严重偏离了实际使用场景，可能导致方法选择的偏差。

为了进行公平比较，研究团队在三个公开的7-9B参数模型（如LLaMA-2-7B等）上进行了大规模测试：在RULER-8192基准上进行了144,300次配对评估，在LongBench上进行了40,800次评估，并通过50,000次重采样配对自举来确保统计稳健性。所有条件（模型、压缩比、实例、解码）保持固定，仅改变评分规则——即比较查询感知和查询不可知两种协议下的性能。

主要发现有三点：首先，查询可见性改变排名。在查询不可知协议下，五个共享相同注意力后端的审计方法中，只有KeyDiff始终优于最佳三选一简单基线（在36个测试单元中胜出31个），而最广泛部署的SnapKV平均落后于“保留开头和最近窗口”的简单策略（性能差距为-0.066）。这意味着在真实场景中，许多被主流接受的方法实际上不如一个简单的启发式方法。其次，两种协议间的性能下降幅度与各方法对查询的可见性严格相关：从SnapKV的Delta=+0.198（问题位于其64标记观察窗口内）到KeyDiff的Delta=+0.011（其评分不含任何查询项）。这一顺序在源代码中清晰可辨，说明方法的设计直接影响了其鲁棒性。

这些发现对未来KV缓存压缩研究具有重要指导意义：评估必须采用查询不可知协议才能反映实际部署场景；同时，简单基线（如保留开头和最近窗口）往往具备惊人竞争力，应作为标准对比对象。研究还强调了方法透明性和可复现性的重要性，因为许多方法的源代码中隐藏了查询可见性的痕迹。