AI News HubLIVE
站內改寫2 分鐘閱讀

Show HN:Aurora——使用 Go 構建的 AI 網關

Aurora 是一個用 Go 編寫、採用 Apache 2.0 許可證的自託管 AI 網關,提供兼容 OpenAI 和 Anthropic 的統一 API,並支持 14 家主流 LLM 提供商。它集成了路由、負載均衡、故障轉移、緩存、安全護欄、可觀測性與成本控制,讓開發者只需更換 base_url 即可接入不同模型服務。

來源Hacker News AI作者: gurveer51

開源項目 Aurora 是一個用 Go 編寫的自託管 AI 網關,採用 Apache 2.0 許可證,目標是讓開發者通過一套統一的 API 接入多家大型語言模型(LLM)供應商。項目支持 14 種提供商類型,包括 OpenAI、Anthropic、Gemini、Groq、DeepSeek、OpenRouter、xAI、Z.ai、MiniMax、Azure OpenAI、Oracle、Ollama、vLLM 和 Jina,並且同時兼容 OpenAI 與 Anthropic 的 SDK 格式。開發者只需把 base_url 指向本地運行的 Aurora 服務,無需修改 SDK 或請求格式,即可完成供應商切換。

在核心路由能力方面,Aurora 提供了模型自動發現、提供商池、模型別名、模型覆蓋、自動故障轉移與回退、指數退避重試和熔斷器等機制。用户可以把多個 API Key 或端點組成池,按輪詢或加權方式負載均衡,並在健康檢查失敗時自動切換。針對不同區域或環境,還可以將同一提供商拆成多個獨立實例,或通過自定義 base URL 接入企業代理和區域端點。網關也支持 /p/{provider}/* 透傳路由,讓上層應用能夠訪問完整的上游 API,而不僅限於聊天補全。

緩存與安全方面,Aurora 支持基於 Redis 的精確緩存、向量語義緩存,以及轉發給 Anthropic、OpenAI、Gemini 的原生提示緩存。安全功能包括主密鑰認證、作用域 API Key、按 Key 限流、PII 脱敏、提示注入攔截、系統提示詞保護、正則屏蔽、長度限制,以及通過輔助 LLM 改寫消息的護欄。護欄可以在請求進入提供商之前、返回響應之後或兩個階段同時運行,並支持批量請求。

在可觀測性與成本控制上,網關提供完整的審計日誌、用量分析、Prometheus 指標、內置的 React 管理面板和 pprof 性能剖析端點。成本控制方面包含策略驅動的輸出壓縮 Token Saver,按模型自定義定價,以及按 Key 的用量預算。開發者可以通過 npm 全局安裝 iaurora,也可以用 Docker 或 Helm Chart 部署到 Kubernetes;項目還提供了 Grafana 儀表盤和 Docker Compose 基礎設施棧(Redis、PostgreSQL、Qdrant、Prometheus、Grafana)。

總的來説,Aurora 希望成為連接應用與各種 AI 提供商之間的統一層,強調無廠商鎖定、原始速度和部署靈活性。無論是個人開發者的本地測試,還是團隊在生產環境中的多供應商容災,它都提供了一套開箱即用的配置和管理工具。項目代碼託管在 GitHub 上,並以 Apache 2.0 許可開放。