eOptShrinkQ: 最適スペクトルノイズ除去と量子化によるほぼロスレスKVキャッシュ圧縮

大規模言語モデル（LLM）の推論において、キー・バリュー（KV）キャッシュのサイズはシーケンス長に比例して増大し、メモリのボトルネックとなる。この問題に対処するため、Pei-Chun Su氏によってarXivに提出された論文は、最適スペクトルノイズ除去と量子化を組み合わせたほぼロスレスのKVキャッシュ圧縮手法eOptShrinkQを提案している。この手法の中心的な発見は、Transformerアテンションヘッド内のKVキャッシュが、低ランクの共有コンテキスト成分とフルランクのトークンごとの残差に自然に分解できることであり、これは「スパイクランダム行列モデル」によってよく説明される。この観察に基づき、eOptShrinkQは2段階の圧縮パイプラインを構築する。第1段階では、最適特異値収縮（eOptShrink）を用いて共有構造を自動的に抽出する。このプロセスでは、ランダム行列理論のBBP相転移を利用してランクが自動的に選択される。第2段階では、薄殻特性を満たし座標が非局在化した残差に対して、TurboQuant——最近提案された準最適なベクトルごとのスカラー量子化器——を適用する。スペクトルノイズ除去によりスカラー量子化が前提とする等方性が回復されるため、外れ値処理や専用の内積バイアス補正が不要になり、解放されたビットを再構成の向上に活用できる。理論的には、自動ランク選択、残差上のほぼゼロの内積バイアス、および座標非局在化による準最適量子化歪みという3つの保証が提供される。実験では、Llama-3.1-8BとMinistral-8Bを用いて3つのレベルで検証が行われた。ヘッドごとのMSEと内積忠実度では、同等品質でeOptShrinkQがエントリあたり約1ビット節約。16タスクのLongBenchエンドツーエンド評価では、eOptShrinkQが約2.2ビット/エントリでTurboQuantの3.0ビットを上回った。さらに、マルチニードル検索タスクでは、2.2ビットのeOptShrinkQが非圧縮FP16に匹敵するかそれを上回る性能を示し、スペクトルノイズ除去が検索集約型タスクの有益な正則化器として機能することを示唆している。これらの結果は、eOptShrinkQが理論に基づいた圧縮戦略により、ほぼロスレスの性能を維持しながらKVキャッシュのメモリ要件を大幅に削減することを実証している。