大規模言語モデル（LLM）はテキスト生成中に、以前に計算したすべてのキー・バリュー（KV）ペアをキャッシュする。このKVキャッシュはシーケンス長に比例して増大し、サービングにおける主要なメモリボトルネックとなる。KVキャッシュをより少ないビットに量子化することでコストを削減できるが、現在の量子化器はすべてのアテンションヘッドに同じビット幅を割り当てており、ヘッドの重要度の大きなばらつきを無視している。直感的には、重要なヘッドにより多くのビットを、そうでないヘッドには少ないビットを割り当てる混合精度量子化が自然なアイデアである。しかし、最新の研究は隠れた落とし穴を明らかにした：各量子化器は異なる歪み曲線 D(b)=α·β^{-b} に従い、減衰率βは量子化器の設計によって3.6から5.3の範囲で変化する。ある量子化器の歪みモデルを別の量子化器に誤って適用すると、ビット割り当ての順序が逆転し、一様量子化よりも性能が低下する。この失敗モードは「歪みモデル不一致」と呼ばれる。
この問題を解決するために、中国の研究チームはRateQuantを提案した。RateQuantはまず小さなキャリブレーションセットから量子化器ごとの歪みモデルを適合させ、次にレート歪み理論の逆水充填法（reverse waterfilling）を用いてビット割り当て問題を閉形式で解く。実験結果は、Qwer3-8Bモデルにおいて平均2.5ビットを目標とした場合、キャリブレーションされたRateQuantがKIVIのパープレキシティを49.3から14.9へと70%削減し、QuaRotを6.6 PPL改善することを示している。キャリブレーション全体は単一GPUで1.6秒かかり、推論時のオーバーヘッドはゼロである。
この成果は、大規模言語モデルの効率的なデプロイに新たな道を開くものであり、レート歪み理論に基づく混合精度量子化が推論コストを増やさずに性能を大幅に向上できることを示している。論文は18ページ、7図、5表を含み、さらなる研究のための豊富な参考資料を提供している。