清華大AI、SGLang上のLLMエージェント向けKVキャッシュエンジニアリングサーバー「AKV」をオープンソース化

要点

• AKVはSGLangのradixツリーを拡張し、dropとrepositionのノードを追加。保持されたKV状態を再プレフィルなしで再利用する。
• 3モデル・4エージェントベンチマークで、しきい値要約と比較して平均コスト27.7%減、平均スコア1.7ポイント向上。
• 並行度16の負荷で、P95リクエストレイテンシがStandardの229.90秒からAKVの30.63秒に短縮。
• Apache-2.0ライセンスで公開され、現時点ではQwen、GPT-OSS、MiniMax-M2のテキストモデルのみをサポート。