Envoy AI Gateway 1.0 正式發佈——穩定、生產就緒的AI網關
Envoy AI Gateway 1.0 是首個穩定通用發行版,基於CNCF的Envoy Gateway構建,承諾控制平面API穩定,支持16個AI提供商,提供MCP網關、多模態、企業級可觀測性等功能。
Envoy AI Gateway 項目今日宣佈正式發佈1.0版本——這是基於CNCF Envoy Gateway構建的開源AI網關的第一個穩定通用發行版。
自2025年2月發佈v0.1以來,經過16個月和多個版本的迭代,在跨行業維護者和採用者社區的支持下,項目終於達到1.0里程碑。1.0意味着用户可以放心地在Envoy AI Gateway上構建應用:它提供了承諾保持穩定的控制平面API,運行在已經在全球最大公司生產環境中經過驗證的Envoy基礎之上。
1.0版本的核心理念是穩定性。項目承諾不會破壞穩定API,除非存在嚴重安全問題,且任何必要變更都會提供遷移路徑。具體而言,包括:穩定的CRD(如AIGatewayRoute、AIServiceBackend、BackendSecurityPolicy等),可預測的升級策略,以及文檔化的遷移方案。這滿足了企業對於標準化、供應商無關的AI網關的期望。
從v0.1到1.0,功能大幅擴展:AI提供商從2個增至16個,支持跨提供商請求/響應翻譯;API覆蓋聊天、補全、嵌入、圖像生成、音頻以及OpenAI Responses API;新增MCP網關,支持服務器多路複用、工具路由與過濾及細粒度授權;多模態支持圖像、音頻和視頻輸入;可觀測性方面引入OpenTelemetry tracing、OpenInference、GenAI令牌度量等;多租户和路由支持基於主機名的路由、模型虛擬化和配額感知速率限制。
1.0的關鍵特性包括:單一API對接所有提供商,應用程序只需連接一個OpenAI兼容端點,網關負責提供商特定的翻譯、認證和路由,支持A/B測試、漸進式遷移和避免供應商鎖定。提供商認證通過BackendSecurityPolicy集中管理,支持API密鑰、AWS、Azure和GCP雲原生身份。MCP網關為代理時代設計,可聚合多個MCP服務器、過濾工具並執行基於CEL的細粒度授權。企業級可觀測性內置令牌感知度量、OpenTelemetry tracing和推理令牌單獨核算。此外,項目基於Kubernetes Gateway API和Gateway API Inference擴展構建,是Envoy Gateway的附加層,不改變現有部署和運維方式。
1.0版本是跨行業社區合作的成果,維護者來自Tetrate、Bloomberg、騰訊、Netflix和Nutanix,並得到LY Corporation、Alan by Comma Soft等組織的反饋。項目未來路線圖包括專用MCPBackend CRD、更深度的MCP授權、更完善的配額感知路由、更多的提供商翻譯路徑和多模態支持。這一切由社區驅動。
Envoy AI Gateway 1.0現已可用,詳細的發行説明、API變更和升級指南請訪問項目發佈説明頁面。