2026-05-08 06:03 UTC+8僅摘要更新: 2026-06-30 21:03 UTC+8

LightSeek 基金會發布 TokenSpeed：面向智慧體工作負載的開源 LLM 推理引擎，效能對標 TensorRT-LLM

TokenSpeed 是一個基於 MIT 許可證的開源 LLM 推理引擎，專為智慧體工作負載設計。其架構包括編譯器支援的並行模型、用於安全 KV 快取管理的 C++ 有限狀態機排程器以及高效能 MLA 核心。在 NVIDIA B200 上，其最小延遲比 TensorRT-LLM 快約 9%，吞吐量高約 11%。該引擎目前處於預覽階段。

來源MarkTechPost作者: Asif Razzaq

回報錯誤

更正管道尚未開通，可先複製下方文章資訊留存。

查看更正說明

本文僅提供摘要

根據來源內容權限，本站僅提供編輯摘要、要點和原文連結。

展開要點與分析

文章情報

工程師進階

要點

TokenSpeed 是開源（MIT 許可證）的推理引擎，針對編碼智慧體長上下文場景最佳化。
其排程器利用編譯時安全性管理 KV 快取，分離控制面與執行面。
在 NVIDIA B200 上的基準測試表明，TokenSpeed 在延遲和吞吐量上均超越 TensorRT-LLM。
TokenSpeed 的 MLA 核心已被 vLLM 採用，可將解碼延遲降低近一半。

要點與分析由自動化流程生成，可能有誤，請結合原始來源核實。