消融、統計推斷與驗證：KV緩存壓縮研究
本文系統比較了Turbo-Quant和SpectralQuant兩種KV緩存壓縮方法，採用統計驗證方法論分離系統編解碼差異與實現方差。關鍵發現：基於特徵基的方法在重尾數據上因協方差不穩定而失效，但在結構化場景中表現優異；有效語義維度（d_eff）隨校準預算調整而非真實數據秩。
一篇來自Paolo D'Alberto等人的新論文《Ablation, Statistical Inference, and Validation for KV-Cache Compression》已提交至arXiv，該論文系統性地比較了兩種關鍵的KV緩存壓縮方法——Turbo-Quant和SpectralQuant，並評估了包括結合Beta Lloyd-Max的WHT旋轉和QJL在內的非支配方案。研究採用了一種新穎的統計驗證方法，能夠將系統性的編解碼差異與實現方差區分開來，從而更準確地評估不同技術的性能。
論文的核心發現揭示了基於特徵基的方法（如SpectralQuant）在重尾數據分佈下的侷限性。由於協方差估計的不穩定性，這些方法在處理重尾數據時性能失效。然而，在結構化的數據場景（如低秩或平滑信號）中，它們卻表現出色。更引人注目的是，有效語義維度（d_eff）並非如傳統理論所認為的那樣反映數據的真實秩，而是根據校準預算自適應地調整。這一發現挑戰了現有的理論假設，併為實際應用中的壓縮策略選擇提供了新的指導原則。
此外，論文還深入探討了非支配方案的潛在優勢，特別是WHT旋轉與量化策略的結合。這些方法在不同的數據分佈下展現出不同的性能特徵，為KV緩存壓縮的進一步優化開闢了新的視角。研究結果對大型語言模型的推理效率提升具有重要意義，尤其是在資源受限的環境中，如邊緣設備或移動平台。通過更精確的壓縮策略，可以顯著降低內存佔用和計算開銷，同時保持模型性能。