Perplexity AI 開源Unigram分詞器，p50延遲比Hugging Face tokenizers crate低5倍

Perplexity AI 開源了用Rust重寫的Unigram分詞器，實現了比Hugging Face tokenizers crate低5倍的p50延遲，並將生產環境CPU利用率降低了5-6倍。優化包括雙數組trie、位圖打包和大頁面支持。