eOptShrinkQ：通过最优谱去噪和量化实现近乎无损的KV缓存压缩

在大型语言模型（LLM）的推理过程中，键值（KV）缓存的大小会随着序列长度线性增长，这成为了内存瓶颈。为了缓解这一问题，来自国立台湾大学的Pei-Chun Su在arXiv上提交了一篇论文，提出了一种名为eOptShrinkQ的新方法，它通过最优谱去噪和量化技术实现近乎无损的KV缓存压缩。该方法的核心观察是：Transformer注意力头中的KV缓存可以自然地分解为一个低秩的共享上下文组件和一个全秩的每令牌残差，这种结构可以用尖峰随机矩阵模型来精确描述。基于这一理论洞见，eOptShrinkQ设计了一个两阶段压缩流水线。首先，通过最优奇异值收缩（eOptShrink）自动提取共享上下文，该过程利用随机矩阵理论中的BBP相变自动确定合适的秩。其次，针对满足薄壳性质且坐标离域化的残差，应用TurboQuant——一种近期提出的近最优每向量标量量化器——进行量化。由于谱去噪恢复了标量量化所假定的各向同性，该方法无需单独处理异常值或进行内积偏差校正，从而将节省的比特用于改进重建质量。在理论方面，eOptShrinkQ提供了三个坚实的保证：自动秩选择、残差上近乎为零的内积偏差，以及坐标离域化确保近最优的量化失真。实验环节，作者在Llama-3.1-8B和Ministral-8B两个模型上进行了全面验证。在每头均方误差（MSE）和内积保真度方面，eOptShrinkQ在同等质量下每条目比TurboQuant节省近1比特；在包含16个任务的LongBench端到端评估中，eOptShrinkQ以约2.2比特/条目的表现优于TurboQuant的3.0比特/条目；在多针检索任务中，2.2比特的eOptShrinkQ甚至接近或超过了未压缩的FP16精度。这些结果不仅证明了方法的高效性，还揭示了谱去噪作为检索密集型任务的正则化器具有潜在益处。总之，eOptShrinkQ通过理论驱动的压缩策略，显著降低了KV缓存的内存占用，同时保持了近乎无损的性能，为大型语言模型的高效推理提供了新的思路。