AI News HubLIVE
站内改写4 分钟阅读

OGX：开放生成式AI堆栈发布

OGX 1.0是一个开源服务器，能够替代OpenAI API，支持多种模型和基础设施，提供内置RAG、MCP工具集成、多租户和生产级可观测性，无需代码更改。

来源Hacker News AI作者: franciscojarceo

两周前，我们宣布了名称变更。今天，我们确认已完成变更。

OGX 1.0 是一个服务器，它用你拥有的东西取代了 OpenAI API。将你现有的 OpenAI、Anthropic 或 Google SDK 指向它。在任何基础设施上运行任何模型。内置服务器端代理编排、RAG、MCP 工具集成、多租户和生产级可观测性。无供应商锁定。无需代码更改。

这不是测试版。这不是带有免责声明的“生产就绪”。这是 v1。

最简版本：

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8321/v1", api_key="any")
response = client.responses.create(
    model="gpt-4o",
    input="查找所有关于第三季度收入的文档并总结关键趋势。",
    tools=[
        {"type": "file_search", "vector_store_ids": ["vs_finance"]},
        {"type": "mcp", "server_label": "analytics", "server_url": "http://analytics:8000/sse"},
    ],
)

这是一个真实的代理工作流。服务器搜索你的向量存储，调用你的 MCP 工具，推理结果并返回答案。一次 API 调用。你的代码保持简单。将 gpt-4o 换成 claude-sonnet-4-6 或 llama-3.3-70b，其他无需更改。

我们的历程

OGX 最初是围绕 Llama 模型的标准 API 努力，称为 Llama Stack。后来发展成了不同的东西：一个服务器端代理循环，能够与每个主要前沿实验室的原生 API 对话。在此过程中，我们做了 v1 所反映的艰难选择。

我们取消了自己的 API。微调 API、代理 API、knowledge_search 工具、元参考命名、TGI 和 HuggingFace 提供商。全部取消。每一个都被替换为符合现有行业标准或简化系统的内容。代理 API 变成了 Responses API。knowledge_search 变成了 file_search。我们采用 OpenAI 的术语，不是因为它是最标准，而是因为大多数开发者已经熟悉。迎合开发者而非发明新名称。

我们获得了合规分数。OGX 在 Open Responses 一致性测试套件中通过率为 100%。OpenAI API 一致性得分超过 91%。这些不是目标，而是在每次提交时都经过测试。

我们交付了困难的基础设施。基于属性的访问控制的多租户。支持每请求指标、令牌吞吐量跟踪和模型级别延迟的结构化可观测性。网关优先架构将速率限制和 CORS 委托给你的基础设施层。这些是将项目与产品区分开的功能。

项目整个生命周期中有 239 名贡献者。23 个推理提供商。21 个向量存储后端。以及一次涉及 1696 个文件的更名，因为我们决定名称应与使命匹配。

三个 SDK，一个服务器

大多数“兼容 OpenAI”的服务器只提供 /v1/chat/completions 就算完事。OGX 原生实现了三个 API 接口：

  • OpenAI SDK：from openai import OpenAI
  • Anthropic SDK：from anthropic import Anthropic
  • Google GenAI SDK：from google import genai

三个 SDK 都指向同一个推理提供商。同一个 OGX 服务器可以同时服务于使用 OpenAI SDK、Anthropic SDK 和 Google SDK 的团队。同一个模型运行在同一 GPU 上。

这解耦了两个原本捆绑在一起的决定：团队偏好的 SDK 和你部署的模型。使用 Anthropic SDK 配合 Ollama。使用 Google SDK 配合 vLLM。使用 OpenAI SDK 配合 Bedrock。服务器进行转换。你的代码不变。

编码助手也能用

OGX 不仅适用于应用 SDK。你还可以将编码助手指向同一个 OGX 服务器：

  • Claude Code → Anthropic Messages API 通过 OGX
  • Codex CLI → OpenAI Responses API 通过 OGX

这意味着 Claude Code、Codex CLI、你的 OpenAI SDK 应用和 Anthropic SDK 应用可以共享一个 OGX 部署和提供商层。

参见：Claude Code 集成和 Codex CLI 集成。

服务器端的代理循环

在 Responses API 之前，构建代理意味着编写客户端编排循环。调用模型。检查是否要工具。执行工具。发送结果。重复。每个应用都重新实现。每个实现都有自己的 bug。

OGX 将该循环移到服务器。你发送问题和一组工具。服务器内部处理规划、工具执行和综合。你的客户端得到最终答案。

服务器为你处理：

  • 内置 RAG 通过 file_search。上传文档，创建向量存储，服务器自动搜索、检索并接地响应。无需外部 RAG 管道。
  • MCP 集成。连接任何 MCP 服务器，代理发现并使用其工具。服务器端工具编排意味着你的客户端代码不需要了解工具模式。
  • 多步推理。服务器链式调用工具，不仅是单次推理。原本需要数十行客户端代码的复杂工作流现在一次 API 调用完成。
  • 对话状态。跨交互的持久上下文，无需客户端状态管理。
  • 推理输出。暴露思维痕迹的模型作为响应的一部分返回。你看到推理，而不仅仅是答案。

随处运行，相同 API

OGX 具有可插拔的提供商架构。本地用 Ollama 开发，生产用 vLLM 部署，需要时连接托管服务，API 始终不变。

  • 商业 API：OpenAI、Anthropic、Google (Gemini + Vertex AI)、Azure OpenAI
  • 自托管推理：Ollama、vLLM、llama.cpp
  • 云平台：AWS Bedrock、Databricks、NVIDIA NIM、IBM WatsonX、Oracle OCI
  • 专用：Fireworks、Together、Groq、Cerebras、SambaNova、RunPod
  • 向量存储：FAISS、SQLite-vec、Qdrant、Milvus、Chroma、PGVector、Elasticsearch、Infinispan 等
  • 文件处理：MarkItDown、Docling、pypdf。上传 PDF、Word 文档或文本文件，OGX 将其转换为向量存储的嵌入。
  • 护栏：在内置 responses 提供商上配置 moderation_endpoint，然后在 Responses 请求中传递 extra_body={"guardrails": True}。OGX 在生成期间内联调用你的审核服务，并在检测到违规时阻止不安全内容。

配置是 YAML 格式，支持环境变量替换。条件提供商激活意味着你可以在配置中声明二十个提供商，但只有具有凭证的才会启动。通过更改环境变量而不是代码，从开发切换到生产。

生产基础设施，而非原型

v1 提供了真正运行 OGX 时所需的功能：

  • 多租户。基于属性的访问控制，应用于文件、向量存储、对话和响应。租户隔离内置于存储层。为多个团队或客户运行一个 OGX 服务器。
  • 可观测性。请求计数、延迟直方图、错误率、令牌吞吐量、模型级别性能指标。通过 OpenTelemetry 暴露。接入 Prometheus、Grafana、Jaeger 或你的运维团队使用的任何工具。
  • 网关优先架构。OGX 将速率限制、CORS 和 TLS 终止委托给你的基础设施网关（Envoy、Kong、Istio 等）。服务器专注于其擅长的：推理路由、代理编排和 API 转换。
  • 结构化日志。通过 structlog 输出结构化键值对。解析、索引、告警。无需对日志文件进行正则表达式。
  • 后台任务。排队长时间运行的响应并在需要时取消。生产工作负载需要任务控制，而非一次性丢弃。

60 秒内开始

uvx --from 'ogx[starter]' ogx run starter

然后将任何 OpenAI 客户端指向 http://localhost:8321/v1 即可开始。

对于生产部署，请参阅分发文档。分发生成是特定环境的预配置配置：NVIDIA NIM、IBM WatsonX、Oracle OCI，或者构建你自己的。

未来之路

v1 是基础，并非终点。以下是我们计划的方向：

  • 更深入的多种 SDK 覆盖。扩展 Anthropic 和 Google API 支持，超越基本推理，实现完整的工具调用和代理功能。
  • 库模式。将 OGX 嵌入进程内，用于对延迟敏感的应用程序，无需 HTTP 层。
  • 更多代理模式。更丰富的编排原语、更好的对话管理、更多内置工具。
  • 性能。更快的推理路由、更高效的代理循环、跨提供商的更好资源利用。

这只是开始

OGX 始于围绕一个模型系列的 API 规范。它变成了一个服务器，可以同时与每个前沿实验室的 API 对话，在任何基础设施上运行任何模型，并处理代理编排中的困难部分，使你的应用程序代码保持简洁。

v1 意味着我们有足够的信心将其编号。API 稳定。提供商生态系统成熟。生产基础设施真实。239 名贡献者相信这一点并交付了代码。

如果你一直在等待尝试 OGX 的合适时机，现在就是了。

开始使用 | 文档 | GitHub | Discord

—— OGX 团队