查詢可見性如何改變KV快取壓縮排名：一項匹配預算的審計

KV快取壓縮是加速大語言模型推理的關鍵技術，但現有評估方法存在根本性缺陷。來自arXiv的一項新研究（arXiv:2607.11942）對六種已發表的壓縮方法進行了匹配預算審計，揭示了查詢可見性對效能排名的決定性影響。研究由Daming Luo等人完成，於2026年7月11日提交。

當前主流評估採用查詢感知協議：將查詢與上下文拼接後再壓縮。然而，KV快取的實際經濟價值在於複用——壓縮一份文件，多次用於回答不同問題。在這種部署中，壓縮必須在查詢不可知（即未見任何問題）的情況下完成。研究團隊指出，現有文獻中的評估方式嚴重偏離了實際使用場景，可能導致方法選擇的偏差。

為了進行公平比較，研究團隊在三個公開的7-9B引數模型（如LLaMA-2-7B等）上進行了大規模測試：在RULER-8192基準上進行了144,300次配對評估，在LongBench上進行了40,800次評估，並透過50,000次重取樣配對自舉來確保統計穩健性。所有條件（模型、壓縮比、例項、解碼）保持固定，僅改變評分規則——即比較查詢感知和查詢不可知兩種協議下的效能。

主要發現有三點：首先，查詢可見性改變排名。在查詢不可知協議下，五個共享相同注意力後端的審計方法中，只有KeyDiff始終優於最佳三選一簡單基線（在36個測試單元中勝出31個），而最廣泛部署的SnapKV平均落後於“保留開頭和最近視窗”的簡單策略（效能差距為-0.066）。這意味著在真實場景中，許多被主流接受的方法實際上不如一個簡單的啟發式方法。其次，兩種協議間的效能下降幅度與各方法對查詢的可見性嚴格相關：從SnapKV的Delta=+0.198（問題位於其64標記觀察視窗內）到KeyDiff的Delta=+0.011（其評分不含任何查詢項）。這一順序在原始碼中清晰可辨，說明方法的設計直接影響了其魯棒性。

這些發現對未來KV快取壓縮研究具有重要指導意義：評估必須採用查詢不可知協議才能反映實際部署場景；同時，簡單基線（如保留開頭和最近視窗）往往具備驚人競爭力，應作為標準對比物件。研究還強調了方法透明性和可復現性的重要性，因為許多方法的原始碼中隱藏了查詢可見性的痕跡。