Otari：オープンソースのLLMコントロールプレーン

現在、LLMを活用したアプリケーションを構築しているなら、おそらく複数のLLMプロバイダー、大量のAPIキー、そしてルーティング、予算、フェイルオーバーのための独自ロジックを管理していることでしょう。言語モデルへのアクセスはもはや課題ではありません。効果的にLLMインフラを運用することが課題です。

本日、Mozilla.ai が構築したオープンソースのLLMコントロールプレーン「Otari」を発表できることを嬉しく思います。

LLMインフラへの統一アプローチ

Otariは、LLMインフラのための単一のコントロールプレーンを提供し、開発者やエンジニアリングチームが複数のLLMプロバイダーにわたるルーティング、予算、ガバナンス、デプロイメント、信頼性を管理できるようにします。

一つのプラットフォームから、開発者は以下を実行できます：

• 単一エンドポイントを通じて複数のLLMプロバイダーにリクエストをルーティング。
• 内蔵の予算、使用状況の可視性、自動予算執行によるLLM支出の制御。
• 集中化されたAPIキー、ワークスペース、アクセス制御によるガバナンスの管理。
• ホステッド環境またはセルフホステッド環境の必要な場所にデプロイ。
• インテリジェントルーティングと自動フェイルオーバーによる信頼性の向上。
• 内蔵ツールとオーケストレーションを提供するAgent Harnessesを使ったエージェント対応アプリケーションの構築。

Otariにより、開発者は一か所でLLMインフラを制御できるため、複雑さの管理に費やす時間を減らし、AIアプリケーションの構築により多くの時間を割くことができます。

Mozilla.aiがOtariを構築した理由

Mozilla.aiでは、開発者がオープンで柔軟性があり、自身の制御下にあるAIシステムを構築できるべきだと考えています。

LLMを採用する開発者や組織と協力する中で、同じインフラの課題が何度も繰り返し発生するのを目の当たりにしました。チームは、アプリケーションごとにカスタムルーティングロジック、プロバイダーキーの管理、使用状況の追跡、予算の執行、ガバナンスを個別に実装していました。

これらの機能は、新しいLLM駆動アプリケーションが作成されるたびに再構築されるべきではありません。

これらは、アプリケーションとLLMプロバイダーの間に位置する専用のコントロールプレーンに属し、開発者にインフラを管理・運用するための一つの場所を提供するべきだと私たちは考えています。

それがOtariを構築した理由です。

Otariを使い始める

Otariは本日公開されました。

プラットフォームを探索し、ドキュメントを読み、GitHub上のオープンソースプロジェクトにアクセスして、Otariで構築を始めましょう。

otari.aiでOtariをご覧ください。

複雑さに制御される前に、LLMインフラを制御しましょう。