推論言語モデルが長い思考の連鎖を生成すると、デコード段階で大規模なKVキャッシュが蓄積され、デコード遅延の増大とスループットの制限を招く。この問題に対処するため、KVキャッシュ圧縮が有望な手法として注目されている。重要なKVペアを選択的に除去しつつ、後続のデコードに必要な情報を保持することでメモリオーバーヘッドを削減するアプローチである。しかし本論文は、既存のKVキャッシュ圧縮手法に二つの重要な限界があると指摘する。第一に、閾値で発動する圧縮ポリシーはスループットの改善が限定的であるか、場合によってはスループットを低下させることがあり、さらにシーケンス内の特定ブロックのKVペアを完全に削除して情報損失を悪化させる可能性がある。第二に、既存手法は孤立したKVペアか境界が固定された固定サイズのチャンクを保持するのが一般的で、任意のトークン位置にある重要な可変サイズのチャンクを柔軟に保持できない。
これらの限界を克服するため、著者らはKaraを提案する。Karaはスライディングウィンドウ型のKVキャッシュ圧縮手法であり、デコード時に直近に生成されたコンテキストのみを対象として圧縮を行う。ウィンドウ内で双方向アテンションを利用してKVペアをスコアリングし、情報量の多いペアを選択する。重要な意味情報を柔軟に保持するため、Token2Chunkモジュールを設計し、選択されたKVペアの一部をチャンクへと拡張する。これにより固定境界の制約を超え、任意のトークン位置で可変サイズの意味単位を保持できる。
実装面では、KaraをPagedAttentionに適応させ、vLLMを基盤とする推論フレームワークKvLLMを開発した。KvLLMはKVキャッシュのメモリ使用量を削減し、出力スループットを効果的に向上させることを目指す。論文抄録によれば、広範な実験によりKaraとKvLLMは一貫した性能改善を示した。メタデータによると、本論文は2026年5月1日に投稿され、cs.CLとcs.AIに分類され、9ページ・図6点で構成され、arXiv番号は2607.01237である。