你的 AI 网关表现如何？
本文通过三个关键时刻（首 token 延迟、高峰并发、工具调用）对比了 Highflame、Bifrost 和 LiteLLM 三种 AI 网关的性能。Highflame 在各项测试中表现最佳，几乎不增加延迟，能处理高并发，且内存占用低。Bifrost 因缓冲导致首 token 延迟，LiteLLM 在高负载下性能急剧下降。文章还提到了 MCP 工具调用场景下 Highflame 的优势。
在 AI 模型的生产环境中，网关已成为必不可少的组件。它统一路由、管理 API 密钥、监控用量并扫描流量。但网关位于每次请求的路径上，其性能直接影响用户体验。本文通过三个关键指标测试了三种网关：Highflame（Rust）、Bifrost（Go）和 LiteLLM（Python）。
第一时刻：首 token 延迟 用户等待首 token 的时间决定了应用是否“卡顿”。模型本身约需 300ms 生成首 token。Highflame 仅增加约 2ms，在 100 并发下仍保持 307ms，与直连模型无异。Bifrost 默认缓冲整个响应，直到模型完成才释放，导致首 token 延迟增加 1.3 秒，用户感觉应用冻结，尽管令牌一直在流动。LiteLLM 在 10 并发时表现尚可，但每令牌处理开销随负载累积，在 50 并发时增加约 350ms，在 100 并发时首 token 延迟中位数飙升至 6.3 秒，总响应时间从 1.6 秒延长至 7.7 秒。
第二时刻：高峰并发 真实场景中大量对话同时进行。测试模拟 5000 个并发会话，每个等待 2 秒模型响应，持续五分钟。Highflame 处理了全部 572,563 个请求，成功率 100%，p99 为 3.3 秒，内存占用 733MB。Bifrost 同样 100% 成功，但内存需求翻倍至 1.5GB。LiteLLM 仅处理了 30% 的请求，幸存者中位等待 6.2 秒，p99 达 26.7 秒，70% 的请求丢失。在低并发（100 会话）时三者均能胜任，但到 500 会话时 LiteLLM 中位延迟已超出模型自身 2 秒。差异在于你计划增长的规模，而这正是手动测试时容易忽略的。
第三时刻：工具调用 对于 MCP 工具调用，Highflame 是唯一能透明代理的网关。在 10 并发下增加 17ms，100 并发下增加 181ms（主要为排队延迟），吞吐量达 260 次/秒，成功率 100%。在极限测试中，单实例四核可处理 6,800 次/秒（瞬时峰值 8,200），而直接连接工具服务器在相同负载下仅 1,526 次/秒且崩溃，因为 Highflame 通过连接池复用下游连接。面对 200ms 工具时，理论极限 5,000 次/秒，实测 4,832 次/秒。MCP 代理也是治理点：认证、Cedar 策略、Shield 扫描均在此运行。
部署与选型 Highflame 启动仅 25MB，高峰内存 733MB，适合作为边车部署。而 LiteLLM 启动即占 486MB，性能却差强人意。选择网关时，应关注首 token 延迟、高峰处理能力和工具调用开销。Highflame 在这三项上均表现出色：首 token 几乎无感，高峰无丢包，工具调用开销极低。