AI News HubLIVE
站內改寫2 分鐘閱讀

Envoy AI Gateway 1.0 正式釋出——穩定、生產就緒的AI閘道器

Envoy AI Gateway 1.0 是首個穩定通用發行版,基於CNCF的Envoy Gateway構建,承諾控制平面API穩定,支援16個AI提供商,提供MCP閘道器、多模態、企業級可觀測性等功能。

來源Hacker News AI作者: zoltano

Envoy AI Gateway 專案今日宣佈正式釋出1.0版本——這是基於CNCF Envoy Gateway構建的開源AI閘道器的第一個穩定通用發行版。

自2025年2月釋出v0.1以來,經過16個月和多個版本的迭代,在跨行業維護者和採用者社群的支援下,專案終於達到1.0里程碑。1.0意味著使用者可以放心地在Envoy AI Gateway上構建應用:它提供了承諾保持穩定的控制平面API,執行在已經在全球最大公司生產環境中經過驗證的Envoy基礎之上。

1.0版本的核心理念是穩定性。專案承諾不會破壞穩定API,除非存在嚴重安全問題,且任何必要變更都會提供遷移路徑。具體而言,包括:穩定的CRD(如AIGatewayRoute、AIServiceBackend、BackendSecurityPolicy等),可預測的升級策略,以及文件化的遷移方案。這滿足了企業對於標準化、供應商無關的AI閘道器的期望。

從v0.1到1.0,功能大幅擴充套件:AI提供商從2個增至16個,支援跨提供商請求/響應翻譯;API覆蓋聊天、補全、嵌入、影像生成、音訊以及OpenAI Responses API;新增MCP閘道器,支援伺服器多路複用、工具路由與過濾及細粒度授權;多模態支援影像、音訊和影片輸入;可觀測性方面引入OpenTelemetry tracing、OpenInference、GenAI令牌度量等;多租戶和路由支援基於主機名的路由、模型虛擬化和配額感知速率限制。

1.0的關鍵特性包括:單一API對接所有提供商,應用程式只需連線一個OpenAI相容端點,閘道器負責提供商特定的翻譯、認證和路由,支援A/B測試、漸進式遷移和避免供應商鎖定。提供商認證透過BackendSecurityPolicy集中管理,支援API金鑰、AWS、Azure和GCP雲原生身份。MCP閘道器為代理時代設計,可聚合多個MCP伺服器、過濾工具並執行基於CEL的細粒度授權。企業級可觀測性內建令牌感知度量、OpenTelemetry tracing和推理令牌單獨核算。此外,專案基於Kubernetes Gateway API和Gateway API Inference擴充套件構建,是Envoy Gateway的附加層,不改變現有部署和運維方式。

1.0版本是跨行業社群合作的成果,維護者來自Tetrate、Bloomberg、騰訊、Netflix和Nutanix,並得到LY Corporation、Alan by Comma Soft等組織的反饋。專案未來路線圖包括專用MCPBackend CRD、更深度的MCP授權、更完善的配額感知路由、更多的提供商翻譯路徑和多模態支援。這一切由社群驅動。

Envoy AI Gateway 1.0現已可用,詳細的發行說明、API變更和升級指南請訪問專案釋出說明頁面。