清華開源AKV：基於SGLang的LLM智慧體KV快取工程服務系統
清華大學與香港中文大學的研究者開源了AKV，一個面向LLM智慧體的KV快取工程服務系統。AKV讓智慧體直接丟棄和重新定位KV快取條目，而非摘要歷史，在4個智慧體基準上平均成本降低27.7%，平均得分提升1.7分。
清華開源AKV：基於SGLang的LLM智慧體KV快取工程服務系統
本文僅提供摘要
根據來源內容權限，本站僅提供編輯摘要、要點和原文連結。
清華大學與香港中文大學的研究者開源了AKV，一個面向LLM智慧體的KV快取工程服務系統。AKV讓智慧體直接丟棄和重新定位KV快取條目，而非摘要歷史，在4個智慧體基準上平均成本降低27.7%，平均得分提升1.7分。
根據來源內容權限，本站僅提供編輯摘要、要點和原文連結。