LightSeek Foundation、エージェントワークロード向けオープンソースLLM推論エンジンTokenSpeedをリリース、TensorRT-LLMレベルのパフォーマンスを目標

TokenSpeedはMITライセンスのオープンソースLLM推論エンジンで、エージェントワークロード向けに設計されています。アーキテクチャは、コンパイラベースの並列モデル、安全なKVキャッシュ管理のためのC++ FSMスケジューラ、高性能MLAカーネルを備えています。NVIDIA B200上では、TensorRT-LLMと比較して最小レイテンシで約9%、スループットで約11%優れています。現在プレビュー段階です。