Otari：オープンソースのLLMコントロールプレーン

要点

• OtariはLLMインフラのための単一のコントロールプレーンを提供し、ルーティング、予算、ガバナンス、信頼性を管理します。
• 単一エンドポイントでのリクエストルーティング、内蔵予算制御、自動フェイルオーバーが特徴です。
• ホステッドまたはセルフホステッド環境でのデプロイが可能で、エージェント対応アプリのためのAgent Harnessesを提供します。
• Mozilla.aiが開発し、チームがアプリごとにカスタムインフラを再構築する必要をなくします。