Paolo D'Alberto氏らによる新しい論文「Ablation, Statistical Inference, and Validation for KV-Cache Compression」がarXivに提出され、Turbo-QuantとSpectralQuantという2つの主要なKVキャッシュ圧縮手法を体系的に比較しています。この研究では、系統的なコーデック差異と実装のばらつきを分離する統計的検証方法論を採用し、Beta Lloyd-MaxとのWHT回転やQJLを含む非支配スキームを評価しています。
主要な発見として、固有基底ベースの手法（SpectralQuantなど）は、重尾データでは共分散推定の不安定性により性能が低下しますが、構造化されたデータ（低ランクや滑らかな信号）では優れた性能を発揮することが明らかになりました。注目すべき点は、有効セマンティック次元（d_eff）がデータの真のランクを反映するのではなく、キャリブレーション予算に応じて適応的に変化するという発見です。これは既存の理論的仮定に挑戦し、実際のアプリケーションでの圧縮戦略選択に重要な指針を提供します。
論文ではまた、非支配スキームの利点、特にWHT回転と量子化戦略の組み合わせについても詳細に議論しています。これらの手法はデータ分布に応じて異なる性能特性を示し、KVキャッシュ圧縮のさらなる最適化に新たな視点をもたらします。研究成果は、特にリソース制約のある環境において、大規模言語モデルの推論効率向上に大きく貢献することが期待されます。