最近、Paolo D'Alberto氏による論文「Statistical Inference and Quality Measures of KV Cache Quantisations Inspired by TurboQuant」がarXivに投稿されました（論文番号：2605.08114）。この研究では、公平なビット予算の下で、3つのKVキャッシュ量子化方式、すなわちKV（スカラーMSEベースライン）、KQV（KにWHT+MSE、VにWHT+MSE+QJL）、およびQKQV（両方にWHT+MSE+QJL）を体系的に分析しています。
論文は超球面上のベータ分布から出発し、QJL（量子化Johnson-Lindenstrauss）がKの内積分散に与える膨張因子π/2を導出し、その膨張がソフトマックス関数のJensen不等式によって非線形に増幅されることを示しています。著者は統計的推論と情報量を導入し、実際的な差異を明確にしています。
実験からは3つの主要な発見が得られました。第一に、最も一般的に使用されるビット予算n=4において、KQV方式はKLダイバージェンス、幾何学的K誤差、6D距離の全ての評価指標で他の方式より優れており、この結果は異なる分布とランクで一貫しています。第二に、K-V非対称性は無条件です。すなわち、予算や分布に関わらず、QKQVはKLダイバージェンスにおいて常にKQVより劣ります。第三に、予算に依存したクロスオーバー現象が存在します。n=2、3、5ではQKQVがより良い幾何学的K再構成を達成する一方、n=4、6ではKQVが優れており、この現象はランクやテールの重みに依存せず、未解決のレート歪み問題となっています。
特に、KLダイバージェンスKL(pref∥pquant)はKのみに依存し、K方向誤差をルーティング劣化と出力崩壊に結びつけます。論文は、Jensenメカニズムがソフトマックスを介して超線形増幅を引き起こす十分条件を提示しています。n=2、3、5ではこの条件が成立しないため、QKQVが幾何学的に勝ります。一方、n=4ではQKQVのK誤差とKLダイバージェンスが著しく上昇し、Jensenメカニズムがクロスオーバーの動作原因であることを強く示唆しており、新たな視点と説明を提供しています。本研究は、モデル選定、推論コスト最適化、および将来の量子化方式設計に重要な示唆を与えます。