Perplexity AI 开源Unigram分词器，p50延迟比Hugging Face tokenizers crate低5倍

Perplexity AI 开源了用Rust重写的Unigram分词器，实现了比Hugging Face tokenizers crate低5倍的p50延迟，并将生产环境CPU利用率降低了5-6倍。优化包括双数组trie、位图打包和大页面支持。