Together AI、OSCARをオープンソース化：長コンテキストLLMサービングのためのアテンション認識2ビットKVキャッシュ量子化システム

Together AIは、長コンテキストLLMサービングのためのINT2 KVキャッシュ量子化手法であるOSCAR（Offline Spectral Covariance-Aware Rotation）をリリースしました。データに依存しないアダマール変換を適用する従来の回転ベースのアプローチとは異なり、OSCARはオフラインで推定されたアテンション認識共分散構造からキーとバリューに個別の回転を導出します。KV要素あたり2.28ビットで、OSCARはQwen3-4B-Thinking-2507でBF16精度ギャップを3.78ポイント、Qwen3-8Bで1.42ポイントに削減し、100Kコンテキスト長で約8倍のKVメモリ削減と最大3倍のデコード高速化を実現します。