近日，一篇题为《Statistical Inference and Quality Measures of KV Cache Quantisations Inspired by TurboQuant》的论文由作者Paolo D'Alberto提交至arXiv预印本平台（论文编号：2605.08114）。该研究在公平比特预算下，系统分析了三种KV缓存量化方案：KV（标量MSE基线方案）、KQV（对K应用WHT+MSE，对V应用WHT+MSE+QJL）以及QKQV（对两者均应用WHT+MSE+QJL）。
论文从超球面上的Beta分布出发，推导了QJL（量化Johnson-Lindenstrauss）对K的内积方差产生的膨胀因子π/2，并指出该膨胀会通过softmax函数的Jensen不等式被非线性放大。作者引入了统计推断和信息度量来突出实际差异，为理解不同量化方案提供了理论基础。
实验揭示了三个主要发现。第一，在最常用的比特预算n=4下，KQV方案在所有评估指标（KL散度、几何K误差和6D距离）上均优于其他方案，且这一结果在不同分布和秩下保持一致。第二，K-V不对称性是绝对存在的：无论预算和分布如何，QKQV在KL散度上始终逊于KQV。第三，存在预算依赖的交叉现象：在n=2、3、5时，QKQV能实现更好的几何K重建，而KQV在n=4、6时占优，该现象不受秩和尾部权重影响，成为一个开放的率失真问题。
特别地，KL散度KL(pref∥pquant)仅与K相关，它将K方向误差与路由损坏及输出崩溃联系起来。论文提出了一个充分条件，在此条件下Jensen机制会通过softmax产生超线性放大。在n=2、3、5时，该条件不成立，因此QKQV在几何上胜出；而在n=4时，QKQV的K误差和KL散度显著升高，强烈暗示Jensen机制是交叉的运作原因，为理解这一现象提供了新的视角。该研究对模型选型、推理成本优化以及未来量化方案设计具有重要参考价值。