eOptShrinkQ：通過最優譜去噪和量化實現近乎無損的KV緩存壓縮

在大型語言模型（LLM）的推理過程中，鍵值（KV）緩存的大小會隨着序列長度線性增長，這成為了內存瓶頸。為了緩解這一問題，來自國立台灣大學的Pei-Chun Su在arXiv上提交了一篇論文，提出了一種名為eOptShrinkQ的新方法，它通過最優譜去噪和量化技術實現近乎無損的KV緩存壓縮。該方法的核心觀察是：Transformer注意力頭中的KV緩存可以自然地分解為一個低秩的共享上下文組件和一個全秩的每令牌殘差，這種結構可以用尖峯隨機矩陣模型來精確描述。基於這一理論洞見，eOptShrinkQ設計了一個兩階段壓縮流水線。首先，通過最優奇異值收縮（eOptShrink）自動提取共享上下文，該過程利用隨機矩陣理論中的BBP相變自動確定合適的秩。其次，針對滿足薄殼性質且座標離域化的殘差，應用TurboQuant——一種近期提出的近最優每向量標量量化器——進行量化。由於譜去噪恢復了標量量化所假定的各向同性，該方法無需單獨處理異常值或進行內積偏差校正，從而將節省的比特用於改進重建質量。在理論方面，eOptShrinkQ提供了三個堅實的保證：自動秩選擇、殘差上近乎為零的內積偏差，以及座標離域化確保近最優的量化失真。實驗環節，作者在Llama-3.1-8B和Ministral-8B兩個模型上進行了全面驗證。在每頭均方誤差（MSE）和內積保真度方面，eOptShrinkQ在同等質量下每條目比TurboQuant節省近1比特；在包含16個任務的LongBench端到端評估中，eOptShrinkQ以約2.2比特/條目的表現優於TurboQuant的3.0比特/條目；在多針檢索任務中，2.2比特的eOptShrinkQ甚至接近或超過了未壓縮的FP16精度。這些結果不僅證明了方法的高效性，還揭示了譜去噪作為檢索密集型任務的正則化器具有潛在益處。總之，eOptShrinkQ通過理論驅動的壓縮策略，顯著降低了KV緩存的內存佔用，同時保持了近乎無損的性能，為大型語言模型的高效推理提供了新的思路。