清華開源AKV：基於SGLang的LLM智能體KV緩存工程服務系統
清華大學與香港中文大學的研究者開源了AKV，一個面向LLM智能體的KV緩存工程服務系統。AKV讓智能體直接丟棄和重新定位KV緩存條目，而非摘要歷史，在4個智能體基準上平均成本降低27.7%，平均得分提升1.7分。
清華開源AKV：基於SGLang的LLM智能體KV緩存工程服務系統
本文僅提供摘要
根據來源內容權限，本站僅提供編輯摘要、要點和原文連結。
清華大學與香港中文大學的研究者開源了AKV，一個面向LLM智能體的KV緩存工程服務系統。AKV讓智能體直接丟棄和重新定位KV緩存條目，而非摘要歷史，在4個智能體基準上平均成本降低27.7%，平均得分提升1.7分。
根據來源內容權限，本站僅提供編輯摘要、要點和原文連結。