跳到主要內容
AI News HubLIVE
更多
僅摘要

LightSeek 基金會發布 TokenSpeed：面向智能體工作負載的開源 LLM 推理引擎，性能對標 TensorRT-LLM

TokenSpeed 是一個基於 MIT 許可證的開源 LLM 推理引擎，專為智能體工作負載設計。其架構包括編譯器支持的並行模型、用於安全 KV 緩存管理的 C++ 有限狀態機調度器以及高性能 MLA 內核。在 NVIDIA B200 上，其最小延遲比 TensorRT-LLM 快約 9%，吞吐量高約 11%。該引擎目前處於預覽階段。

來源MarkTechPost作者: Asif Razzaq
LightSeek 基金會發布 TokenSpeed：面向智能體工作負載的開源 LLM 推理引擎，性能對標 TensorRT-LLM
報告錯誤

更正渠道尚未開通，可先複製下方文章資訊留存。

查看更正說明

本文僅提供摘要

根據來源內容權限，本站僅提供編輯摘要、要點和原文連結。

展開要點與分析

文章情報

工程師進階

要點

  • TokenSpeed 是開源（MIT 許可證）的推理引擎，針對編碼智能體長上下文場景優化。
  • 其調度器利用編譯時安全性管理 KV 緩存，分離控制面與執行面。
  • 在 NVIDIA B200 上的基準測試表明，TokenSpeed 在延遲和吞吐量上均超越 TensorRT-LLM。
  • TokenSpeed 的 MLA 內核已被 vLLM 採用，可將解碼延遲降低近一半。

要點與分析由自動化流程生成，可能有誤，請結合原始來源核實。