TTFTを低減するCPUMaxxingトークン化

要点

• fastokensは平均9.1倍、長いプロンプトでは最大31倍の高速化を達成。
• 並列プリトークン化、2レベルキャッシュ、動的メモリ管理などの最適化を実装。
• オープンソースで、NVIDIA DynamoやSGLangと統合し、多くの人気モデルをサポート。
• GB200 NVL72では、100Kトークンのレイテンシが149-165msから6-13msに低下し、92%以上の削減。