Tether 将 TurboQuant 引入其本地 AI 引擎 QVAC SDK
QVAC SDK 0.12.0 引入了 TurboQuant,这是一种 KV 缓存量化算法,可将上下文内存占用减少约 5 倍,使本地 AI 能在消费级 GPU 上处理 262K 令牌的全长上下文。该算法来自 Google Research 的 ICLR 2026 论文,无需重新训练模型即可生效。
Tether 将 TurboQuant 引入其本地 AI 引擎 QVAC SDK
本文仅提供摘要
根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。