跳到主要内容
AI News HubLIVE
更多
仅摘要

LightSeek 基金会发布 TokenSpeed：面向智能体工作负载的开源 LLM 推理引擎，性能对标 TensorRT-LLM

TokenSpeed 是一个基于 MIT 许可证的开源 LLM 推理引擎，专为智能体工作负载设计。其架构包括编译器支持的并行模型、用于安全 KV 缓存管理的 C++ 有限状态机调度器以及高性能 MLA 内核。在 NVIDIA B200 上，其最小延迟比 TensorRT-LLM 快约 9%，吞吐量高约 11%。该引擎目前处于预览阶段。

来源MarkTechPost作者: Asif Razzaq
LightSeek 基金会发布 TokenSpeed：面向智能体工作负载的开源 LLM 推理引擎，性能对标 TensorRT-LLM
报告错误

纠错通道尚未开通，可先复制下方文章信息留存。

查看更正说明

本文仅提供摘要

根据来源内容权限，本站仅提供编辑摘要、要点和原文链接。

展开要点与分析

文章情报

工程师进阶

要点

  • TokenSpeed 是开源（MIT 许可证）的推理引擎，针对编码智能体长上下文场景优化。
  • 其调度器利用编译时安全性管理 KV 缓存，分离控制面与执行面。
  • 在 NVIDIA B200 上的基准测试表明，TokenSpeed 在延迟和吞吐量上均超越 TensorRT-LLM。
  • TokenSpeed 的 MLA 内核已被 vLLM 采用，可将解码延迟降低近一半。

要点与分析由自动化流程生成，可能有误，请结合原始来源核实。