KVキャッシュ圧縮は大規模言語モデルの推論を高速化する重要な技術だが、既存の評価方法には根本的な欠陥がある。arXivに投稿された新しい研究（arXiv:2607.11942）は、6つの既発表圧縮手法に対してマッチドバジェット監査を実施し、クエリ可視性が性能ランキングに決定的な影響を与えることを明らかにした。研究はDaming Luo氏らによって行われ、2026年7月11日に提出された。
現在の主流評価はクエリ認識プロトコルを採用している：クエリとコンテキストを連結してから圧縮する。しかし、KVキャッシュの経済的価値は再利用にある——文書を一度圧縮し、将来の多くの質問に答えるために使う。このような展開では、圧縮はクエリ非依存（質問を見る前）に行われなければならない。研究チームは、既存の文献における評価方法が実際の使用シナリオから大きく乖離しており、手法の選択に偏りをもたらす可能性を指摘している。
公平な比較のために、研究チームは3つの公開7-9Bパラメータモデル（LLaMA-2-7Bなど）で大規模テストを実施した：RULER-8192ベンチマークで144,300ペア評価、LongBenchで40,800評価、さらに50,000回のリサンプルペアブートストラップで統計的ロバスト性を確保した。モデル、圧縮率、インスタンス、デコードなど全てを固定し、スコアリングルールのみを変更——すなわちクエリ認識とクエリ非依存の2つのプロトコルで性能を比較した。
主な発見は3点。第一に、クエリ可視性がランキングを変える。クエリ非依存プロトコルでは、共通のアテンションバックエンドを共有する5手法のうち、KeyDiffのみが一貫して最良の単純ベースラインを上回った（36セル中31セルで勝利）。最も広く展開されているSnapKVは平均で「先頭と最近のウィンドウを保持」戦略に負けた（性能差-0.066）。これは、現実のシナリオでは、主流とされる多くの手法が単純なヒューリスティック手法に劣ることを意味する。第二に、2つのプロトコル間の性能低下は、各手法のスコアリング信号へのクエリ可視性と厳密に相関：SnapKVのDelta=+0.198（クエリが64トークン観測ウィンドウ内）からKeyDiffのDelta=+0.011（スコアにクエリ項なし）まで続く。この順序はソースコードに明確に現れており、手法の設計がそのロバスト性に直接影響することが示された。
これらの結果は、将来のKVキャッシュ圧縮研究において重要な指針となる：評価はクエリ非依存プロトコルで行う必要があり、実際の展開シナリオを反映しなければならない。同時に、「先頭と最近のウィンドウを保持」のような単純ベースラインが驚くほど競争力を持つため、標準的な比較対象として採用すべきである。研究はまた、多くの手法のソースコードにクエリ可視性の痕跡が隠されていることから、手法の透明性と再現可能性の重要性を強調している。