Together AI 開源 OSCAR：一種面向長上下文 LLM 服務的注意力感知 2 位 KV 緩存量化系統

Together AI 發佈了 OSCAR（離線頻譜協方差感知旋轉），這是一種用於長上下文 LLM 服務的 INT2 KV 緩存量化方法。與以往基於數據無關的 Hadamard 變換的旋轉方法不同，OSCAR 從離線估計的注意力感知協方差結構中推導出鍵和值的獨立旋轉。在每 KV 元素 2.28 位的精度下，OSCAR 在 Qwen3-4B-Thinking-2507 上將 BF16 精度差距縮小至 3.78 個點，在 Qwen3-8B 上為 1.42 個點，同時在 100K 上下文長度下實現約 8 倍 KV 內存縮減和高達 3 倍的解碼加速。