Otari：开源LLM控制平面

如果您今天正在构建由 LLM 驱动的应用程序，您可能正在管理多个 LLM 提供商、一堆 API 密钥，以及用于路由、预算和故障转移的自定义逻辑。访问语言模型已不再是难题，但有效运营 LLM 基础设施才是。

今天，我们很高兴推出 Otari，这是由 Mozilla.ai 构建的开源 LLM 控制平面。

LLM 基础设施的统一方法

Otari 为您的 LLM 基础设施提供单一控制平面，帮助开发人员和工程团队管理跨多个 LLM 提供商的路由、预算、治理、部署和可靠性。

从同一平台，开发者可以：

• 通过单一端点路由跨多个 LLM 提供商的请求。
• 通过内置预算、使用可见性和自动预算执行来控制 LLM 支出。
• 通过集中式 API 密钥、工作区和访问控制来管理治理。
• 在托管或自托管环境中灵活部署。
• 通过智能路由和自动故障转移提高可靠性。
• 使用提供内置工具和编排的 Agent Harnesses 构建支持代理的应用程序。

Otari 让开发者在一个地方管理 LLM 基础设施，从而减少管理复杂性的时间，更多时间用于构建 AI 应用程序。

为什么 Mozilla.ai 构建 Otari

在 Mozilla.ai，我们相信开发者应该能够构建开放、灵活且受其控制的 AI 系统。

当我们与采用 LLM 的开发者和组织合作时，我们反复看到相同的基础设施挑战。团队正在构建自定义路由逻辑、管理提供商密钥、跟踪使用情况、执行预算和治理，每个应用都独立实现。

这些功能不应该在每次创建新的 LLM 驱动应用时都重新构建。

我们认为它们属于位于应用程序和 LLM 提供商之间的专用控制平面，为开发者提供一个管理和运营基础设施的地方。

这就是我们构建 Otari 的原因。

立即开始使用 Otari

Otari 已发布。

探索平台，阅读文档，访问 GitHub 上的开源项目，并开始使用 Otari 进行构建。

访问 otari.ai 了解 Otari。

在复杂性控制您之前，先控制您的 LLM 基础设施。