消融、统计推断与验证：KV缓存压缩研究
本文系统比较了Turbo-Quant和SpectralQuant两种KV缓存压缩方法，采用统计验证方法论分离系统编解码差异与实现方差。关键发现：基于特征基的方法在重尾数据上因协方差不稳定而失效，但在结构化场景中表现优异；有效语义维度（d_eff）随校准预算调整而非真实数据秩。
一篇来自Paolo D'Alberto等人的新论文《Ablation, Statistical Inference, and Validation for KV-Cache Compression》已提交至arXiv，该论文系统性地比较了两种关键的KV缓存压缩方法——Turbo-Quant和SpectralQuant，并评估了包括结合Beta Lloyd-Max的WHT旋转和QJL在内的非支配方案。研究采用了一种新颖的统计验证方法，能够将系统性的编解码差异与实现方差区分开来，从而更准确地评估不同技术的性能。
论文的核心发现揭示了基于特征基的方法（如SpectralQuant）在重尾数据分布下的局限性。由于协方差估计的不稳定性，这些方法在处理重尾数据时性能失效。然而，在结构化的数据场景（如低秩或平滑信号）中，它们却表现出色。更引人注目的是，有效语义维度（d_eff）并非如传统理论所认为的那样反映数据的真实秩，而是根据校准预算自适应地调整。这一发现挑战了现有的理论假设，并为实际应用中的压缩策略选择提供了新的指导原则。
此外，论文还深入探讨了非支配方案的潜在优势，特别是WHT旋转与量化策略的结合。这些方法在不同的数据分布下展现出不同的性能特征，为KV缓存压缩的进一步优化开辟了新的视角。研究结果对大型语言模型的推理效率提升具有重要意义，尤其是在资源受限的环境中，如边缘设备或移动平台。通过更精确的压缩策略，可以显著降低内存占用和计算开销，同时保持模型性能。