Together AI 开源 OSCAR：一种面向长上下文 LLM 服务的注意力感知 2 位 KV 缓存量化系统

Together AI 发布了 OSCAR（离线频谱协方差感知旋转），这是一种用于长上下文 LLM 服务的 INT2 KV 缓存量化方法。与以往基于数据无关的 Hadamard 变换的旋转方法不同，OSCAR 从离线估计的注意力感知协方差结构中推导出键和值的独立旋转。在每 KV 元素 2.28 位的精度下，OSCAR 在 Qwen3-4B-Thinking-2507 上将 BF16 精度差距缩小至 3.78 个点，在 Qwen3-8B 上为 1.42 个点，同时在 100K 上下文长度下实现约 8 倍 KV 内存缩减和高达 3 倍的解码加速。