Otari：開源LLM控制平面

如果您今天正在構建由 LLM 驅動的應用程序，您可能正在管理多個 LLM 提供商、一堆 API 密鑰，以及用於路由、預算和故障轉移的自定義邏輯。訪問語言模型已不再是難題，但有效運營 LLM 基礎設施才是。

今天，我們很高興推出 Otari，這是由 Mozilla.ai 構建的開源 LLM 控制平面。

LLM 基礎設施的統一方法

Otari 為您的 LLM 基礎設施提供單一控制平面，幫助開發人員和工程團隊管理跨多個 LLM 提供商的路由、預算、治理、部署和可靠性。

從同一平台，開發者可以：

• 通過單一端點路由跨多個 LLM 提供商的請求。
• 通過內置預算、使用可見性和自動預算執行來控制 LLM 支出。
• 通過集中式 API 密鑰、工作區和訪問控制來管理治理。
• 在託管或自託管環境中靈活部署。
• 通過智能路由和自動故障轉移提高可靠性。
• 使用提供內置工具和編排的 Agent Harnesses 構建支持代理的應用程序。

Otari 讓開發者在一個地方管理 LLM 基礎設施，從而減少管理複雜性的時間，更多時間用於構建 AI 應用程序。

為什麼 Mozilla.ai 構建 Otari

在 Mozilla.ai，我們相信開發者應該能夠構建開放、靈活且受其控制的 AI 系統。

當我們與採用 LLM 的開發者和組織合作時，我們反覆看到相同的基礎設施挑戰。團隊正在構建自定義路由邏輯、管理提供商密鑰、跟蹤使用情況、執行預算和治理，每個應用都獨立實現。

這些功能不應該在每次創建新的 LLM 驅動應用時都重新構建。

我們認為它們屬於位於應用程序和 LLM 提供商之間的專用控制平面，為開發者提供一個管理和運營基礎設施的地方。

這就是我們構建 Otari 的原因。

立即開始使用 Otari

Otari 已發佈。

探索平台，閲讀文檔，訪問 GitHub 上的開源項目，並開始使用 Otari 進行構建。

訪問 otari.ai 瞭解 Otari。

在複雜性控制您之前，先控制您的 LLM 基礎設施。