通过CPU最大化令牌化减少TTFT

要点

• fastokens实现了9.1倍的平均速度提升，长提示场景下最高可达31倍。
• 针对CPU进行了极致优化，包括并行预分词、两级缓存和动态内存管理。
• 开源且兼容NVIDIA Dynamo和SGLang，支持多种主流模型。
• 在GB200 NVL72系统上，100K令牌的延迟从149-165ms降至6-13ms，降幅超过92%。