近日，一篇題為《Statistical Inference and Quality Measures of KV Cache Quantisations Inspired by TurboQuant》的論文由作者Paolo D'Alberto提交至arXiv預印本平臺（論文編號：2605.08114）。該研究在公平位元預算下，系統分析了三種KV快取量化方案：KV（標量MSE基線方案）、KQV（對K應用WHT+MSE，對V應用WHT+MSE+QJL）以及QKQV（對兩者均應用WHT+MSE+QJL）。
論文從超球面上的Beta分佈出發，推導了QJL（量化Johnson-Lindenstrauss）對K的內積方差產生的膨脹因子π/2，並指出該膨脹會透過softmax函式的Jensen不等式被非線性放大。作者引入了統計推斷和資訊度量來突出實際差異，為理解不同量化方案提供了理論基礎。
實驗揭示了三個主要發現。第一，在最常用的位元預算n=4下，KQV方案在所有評估指標（KL散度、幾何K誤差和6D距離）上均優於其他方案，且這一結果在不同分佈和秩下保持一致。第二，K-V不對稱性是絕對存在的：無論預算和分佈如何，QKQV在KL散度上始終遜於KQV。第三，存在預算依賴的交叉現象：在n=2、3、5時，QKQV能實現更好的幾何K重建，而KQV在n=4、6時佔優，該現象不受秩和尾部權重影響，成為一個開放的率失真問題。
特別地，KL散度KL(pref∥pquant)僅與K相關，它將K方向誤差與路由損壞及輸出崩潰聯絡起來。論文提出了一個充分條件，在此條件下Jensen機制會透過softmax產生超線性放大。在n=2、3、5時，該條件不成立，因此QKQV在幾何上勝出；而在n=4時，QKQV的K誤差和KL散度顯著升高，強烈暗示Jensen機制是交叉的運作原因，為理解這一現象提供了新的視角。該研究對模型選型、推理成本最佳化以及未來量化方案設計具有重要參考價值。