AI News HubLIVE
站內改寫4 分鐘閱讀

OGX：開放生成式AI堆疊釋出

OGX 1.0是一個開源伺服器，能夠替代OpenAI API，支援多種模型和基礎設施，提供內建RAG、MCP工具整合、多租戶和生產級可觀測性，無需程式碼更改。

來源Hacker News AI作者: franciscojarceo

兩週前，我們宣佈了名稱變更。今天，我們確認已完成變更。

OGX 1.0 是一個伺服器，它用你擁有的東西取代了 OpenAI API。將你現有的 OpenAI、Anthropic 或 Google SDK 指向它。在任何基礎設施上執行任何模型。內建伺服器端代理編排、RAG、MCP 工具整合、多租戶和生產級可觀測性。無供應商鎖定。無需程式碼更改。

這不是測試版。這不是帶有免責宣告的“生產就緒”。這是 v1。

最簡版本：

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8321/v1", api_key="any")
response = client.responses.create(
    model="gpt-4o",
    input="查詢所有關於第三季度收入的文件並總結關鍵趨勢。",
    tools=[
        {"type": "file_search", "vector_store_ids": ["vs_finance"]},
        {"type": "mcp", "server_label": "analytics", "server_url": "http://analytics:8000/sse"},
    ],
)

這是一個真實的代理工作流。伺服器搜尋你的向量儲存，呼叫你的 MCP 工具，推理結果並返回答案。一次 API 呼叫。你的程式碼保持簡單。將 gpt-4o 換成 claude-sonnet-4-6 或 llama-3.3-70b，其他無需更改。

我們的歷程

OGX 最初是圍繞 Llama 模型的標準 API 努力，稱為 Llama Stack。後來發展成了不同的東西：一個伺服器端代理迴圈，能夠與每個主要前沿實驗室的原生 API 對話。在此過程中，我們做了 v1 所反映的艱難選擇。

我們取消了自己的 API。微調 API、代理 API、knowledge_search 工具、元參考命名、TGI 和 HuggingFace 提供商。全部取消。每一個都被替換為符合現有行業標準或簡化系統的內容。代理 API 變成了 Responses API。knowledge_search 變成了 file_search。我們採用 OpenAI 的術語，不是因為它是最標準，而是因為大多數開發者已經熟悉。迎合開發者而非發明新名稱。

我們獲得了合規分數。OGX 在 Open Responses 一致性測試套件中透過率為 100%。OpenAI API 一致性得分超過 91%。這些不是目標，而是在每次提交時都經過測試。

我們交付了困難的基礎設施。基於屬性的訪問控制的多租戶。支援每請求指標、令牌吞吐量跟蹤和模型級別延遲的結構化可觀測性。閘道器優先架構將速率限制和 CORS 委託給你的基礎設施層。這些是將專案與產品區分開的功能。

專案整個生命週期中有 239 名貢獻者。23 個推理提供商。21 個向量儲存後端。以及一次涉及 1696 個檔案的更名，因為我們決定名稱應與使命匹配。

三個 SDK，一個伺服器

大多數“相容 OpenAI”的伺服器只提供 /v1/chat/completions 就算完事。OGX 原生實現了三個 API 介面：

  • OpenAI SDK：from openai import OpenAI
  • Anthropic SDK：from anthropic import Anthropic
  • Google GenAI SDK：from google import genai

三個 SDK 都指向同一個推理提供商。同一個 OGX 伺服器可以同時服務於使用 OpenAI SDK、Anthropic SDK 和 Google SDK 的團隊。同一個模型執行在同一 GPU 上。

這解耦了兩個原本捆綁在一起的決定：團隊偏好的 SDK 和你部署的模型。使用 Anthropic SDK 配合 Ollama。使用 Google SDK 配合 vLLM。使用 OpenAI SDK 配合 Bedrock。伺服器進行轉換。你的程式碼不變。

編碼助手也能用

OGX 不僅適用於應用 SDK。你還可以將編碼助手指向同一個 OGX 伺服器：

  • Claude Code → Anthropic Messages API 透過 OGX
  • Codex CLI → OpenAI Responses API 透過 OGX

這意味著 Claude Code、Codex CLI、你的 OpenAI SDK 應用和 Anthropic SDK 應用可以共享一個 OGX 部署和提供商層。

參見：Claude Code 整合和 Codex CLI 整合。

伺服器端的代理迴圈

在 Responses API 之前，構建代理意味著編寫客戶端編排迴圈。呼叫模型。檢查是否要工具。執行工具。傳送結果。重複。每個應用都重新實現。每個實現都有自己的 bug。

OGX 將該迴圈移到伺服器。你傳送問題和一組工具。伺服器內部處理規劃、工具執行和綜合。你的客戶端得到最終答案。

伺服器為你處理：

  • 內建 RAG 透過 file_search。上傳文件，建立向量儲存，伺服器自動搜尋、檢索並接地響應。無需外部 RAG 管道。
  • MCP 整合。連線任何 MCP 伺服器，代理發現並使用其工具。伺服器端工具編排意味著你的客戶端程式碼不需要了解工具模式。
  • 多步推理。伺服器鏈式呼叫工具，不僅是單次推理。原本需要數十行客戶端程式碼的複雜工作流現在一次 API 呼叫完成。
  • 對話狀態。跨互動的持久上下文，無需客戶端狀態管理。
  • 推理輸出。暴露思維痕跡的模型作為響應的一部分返回。你看到推理，而不僅僅是答案。

隨處執行，相同 API

OGX 具有可插拔的提供商架構。本地用 Ollama 開發，生產用 vLLM 部署，需要時連線託管服務，API 始終不變。

  • 商業 API：OpenAI、Anthropic、Google (Gemini + Vertex AI)、Azure OpenAI
  • 自託管推理：Ollama、vLLM、llama.cpp
  • 雲平臺：AWS Bedrock、Databricks、NVIDIA NIM、IBM WatsonX、Oracle OCI
  • 專用：Fireworks、Together、Groq、Cerebras、SambaNova、RunPod
  • 向量儲存：FAISS、SQLite-vec、Qdrant、Milvus、Chroma、PGVector、Elasticsearch、Infinispan 等
  • 檔案處理：MarkItDown、Docling、pypdf。上傳 PDF、Word 文件或文本檔案，OGX 將其轉換為向量儲存的嵌入。
  • 護欄：在內建 responses 提供商上配置 moderation_endpoint，然後在 Responses 請求中傳遞 extra_body={"guardrails": True}。OGX 在生成期間內聯呼叫你的稽核服務，並在檢測到違規時阻止不安全內容。

配置是 YAML 格式，支援環境變數替換。條件提供商啟用意味著你可以在配置中宣告二十個提供商，但只有具有憑證的才會啟動。透過更改環境變數而不是程式碼，從開發切換到生產。

生產基礎設施，而非原型

v1 提供了真正執行 OGX 時所需的功能：

  • 多租戶。基於屬性的訪問控制，應用於檔案、向量儲存、對話和響應。租戶隔離內建於儲存層。為多個團隊或客戶執行一個 OGX 伺服器。
  • 可觀測性。請求計數、延遲直方圖、錯誤率、令牌吞吐量、模型級別效能指標。透過 OpenTelemetry 暴露。接入 Prometheus、Grafana、Jaeger 或你的運維團隊使用的任何工具。
  • 閘道器優先架構。OGX 將速率限制、CORS 和 TLS 終止委託給你的基礎設施閘道器（Envoy、Kong、Istio 等）。伺服器專注於其擅長的：推理路由、代理編排和 API 轉換。
  • 結構化日誌。透過 structlog 輸出結構化鍵值對。解析、索引、告警。無需對日誌檔案進行正規表示式。
  • 後臺任務。排隊長時間執行的響應並在需要時取消。生產工作負載需要任務控制，而非一次性丟棄。

60 秒內開始

uvx --from 'ogx[starter]' ogx run starter

然後將任何 OpenAI 客戶端指向 http://localhost:8321/v1 即可開始。

對於生產部署，請參閱分發文件。分發生成是特定環境的預配置配置：NVIDIA NIM、IBM WatsonX、Oracle OCI，或者構建你自己的。

未來之路

v1 是基礎，並非終點。以下是我們計劃的方向：

  • 更深入的多種 SDK 覆蓋。擴充套件 Anthropic 和 Google API 支援，超越基本推理，實現完整的工具呼叫和代理功能。
  • 庫模式。將 OGX 嵌入程序內，用於對延遲敏感的應用程式，無需 HTTP 層。
  • 更多代理模式。更豐富的編排原語、更好的對話管理、更多內建工具。
  • 效能。更快的推理路由、更高效的代理迴圈、跨提供商的更好資源利用。

這只是開始

OGX 始於圍繞一個模型系列的 API 規範。它變成了一個伺服器，可以同時與每個前沿實驗室的 API 對話，在任何基礎設施上執行任何模型，並處理代理編排中的困難部分，使你的應用程式程式碼保持簡潔。

v1 意味著我們有足夠的信心將其編號。API 穩定。提供商生態系統成熟。生產基礎設施真實。239 名貢獻者相信這一點並交付了程式碼。

如果你一直在等待嘗試 OGX 的合適時機，現在就是了。

開始使用 | 文件 | GitHub | Discord

—— OGX 團隊