基於任務質量和系統性能的長上下文服務KV緩存優化基準測試
該論文對KIVI、TurboQuant、SnapKV和CaM等KV緩存優化技術進行了工作量感知的基準測試，評估了它們在Llama-3.1-8B-Instruct和Mistral-7B-Instruct-v0.3模型上的多文檔問答、單文檔問答、少樣本學習和摘要任務中的表現。結果表明，壓縮率本身並不能很好地預測端到端性能。KIVI4提供最穩定的質量，SnapKV在長上下文吞吐量方面表現最佳，而CaM在特定問答任務上取得顯著提升，但對工作負載敏感。該研究強調了根據工作負載選擇KV緩存機制的必要性。
大型語言模型（LLM）的長上下文服務正面臨KV緩存快速增長帶來的嚴峻挑戰。隨着上下文長度增加，KV緩存佔用的顯存急劇膨脹，限制了服務吞吐量和響應速度。為此，業界提出了多種KV緩存壓縮技術，包括量化、剪枝和合並等。然而，由於這些技術通常在不同的模型、任務、預算和服務棧上評估，彼此之間難以直接比較優劣。
為了填補這一空白，一篇新論文提出了一項工作量感知的基準測試，系統比較了四種代表性KV緩存優化機制：KIVI（量化方法）、TurboQuant（快速量化）、SnapKV（剪枝方法）和CaM（合併方法）。研究團隊在Llama-3.1-8B-Instruct和Mistral-7B-Instruct-v0.3兩個主流模型上，針對LongBench風格的多文檔問答、單文檔問答、少樣本學習和摘要任務進行了評估。測量指標包括任務質量（如準確率）、平均輸出吞吐量、平均首次令牌時間以及實際壓縮比，並按不同上下文長度分段分析。
研究發現，壓縮比本身並不是預測端到端性能的良好指標。這意味着單純追求高壓縮率可能無法帶來系統級的收益。具體而言，KIVI4在所有模型中提供了最穩定的任務質量，表明其在減少KV緩存的同時較好地保持了模型輸出質量。SnapKV則在長上下文場景下實現了最高的吞吐量，特別適合對延遲敏感的應用。CaM在選定的問答任務上取得了顯著提升，但其質量和實際壓縮比均表現出較大的工作負載敏感性，即在不同任務上效果差異明顯。
這些發現促使研究人員建議，KV緩存機制的選擇應基於具體工作負載，而非採用一刀切的壓縮策略。該論文為長上下文服務系統的部署提供了實用指導，幫助工程師根據實際需求平衡質量、吞吐量和壓縮比。未來，隨着LLM上下文長度的進一步擴展，這種工作負載感知的方法將變得更加重要。