清华开源AKV：基于SGLang的LLM智能体KV缓存工程服务系统

要点

• AKV在SGLang基础上扩展了radix树，支持drop和reposition两种缓存操作，无需重新预填充即可复用保留的KV状态。
• 在3个模型、4个智能体基准上，AKV相比阈值摘要平均成本降低27.7%、平均得分提升1.7分。
• 在并发16的负载下，P95请求延迟从Standard的229.90秒降至30.63秒。
• 目前仅支持Qwen、GPT-OSS和MiniMax-M2文本模型，代码以Apache-2.0许可证开源。