オープンウェイトAI推論の本番プラットフォーム

Together AIは本日、専用モデル推論プラットフォームの重要なアップデートを発表しました。これにより、企業はオープンウェイトモデルをより簡単に、信頼性高く、最適に運用できるようになります。このプラットフォームは、パフォーマンス、コスト、品質の完全な制御を提供すると同時に、デプロイと管理のプロセスを簡素化します。

新しいプラットフォームの中心的な特徴の1つは、デプロイの柔軟性です。ユーザーはさまざまなハードウェアと最適化プロファイルを選択でき、複数の量子化レベルと並列スキームをサポートしています。さらに、プラットフォームはカナリアデプロイ、ブルーグリーンデプロイ、ローリングアップデート戦略を導入し、変更を段階的に安全にロールアウトし、問題が発生した場合には自動的にロールバックできるようにしています。A/Bテストとシャドウトラフィック機能により、ユーザーは本番環境に影響を与えることなく、新しいモデルと構成を評価できます。

Together AIはまた、カスタムトレーニングのクローズドベータ版を発表しました。これには、フルウェイトおよびLoRA強化学習と教師ありファインチューニングが含まれます。トレーニング後のチェックポイントは、追加の転送ステップなしで本番環境に直接デプロイできます。このベータ版は現在、限定的なアクセスとなっています。

プラットフォームには、組織レベルのPrometheusエンドポイントも用意されており、可観測性とモニタリングを実現し、製品内の分析エクスペリエンスも改善されています。Together AIは、このプラットフォームが、トレーニングから最適化、デプロイ、測定、継続的改善までの完全なライフサイクルを、異なるシステムを寄せ集めることなく実現するための基盤であると述べています。

現在、オープンウェイトモデルは品質においてクローズドモデルに匹敵し、コストはわずかで、タスクに完全にカスタマイズ可能です。その組み合わせにより、本格的なAIプロダクトやエージェントを構築するチームの基盤となっています。しかし、オープンウェイトモデルを採用する戦略的な動機は、依然として制御を行使できる能力にあります。クローズドな代替品とは異なり、オープンウェイトモデルはチームにパフォーマンス、品質、機能の制御を提供します。多くの商用AIアプリケーションは、ユーザーエクスペリエンスを完全に制御するために、オープンウェイトエンドポイントを多数採用する戦略をとっています。多くの企業はこの制御を利用して、貴重な独自IPをサードパーティにさらすリスクなくモデルに組み込んでいます。

オープンウェイトモデルのユーザーはパフォーマンス、機能、品質を最大限に制御したいと考えていますが、量子化レベル、並列化スキーム、エンジンパラメータ、ドラフトモデルアーキテクチャなどの決定を毎週正しく調整できるかどうかをテストしたいチームはほとんどありません。一方、最高の品質とパフォーマンスを実現するための最先端技術は急速に進歩しています。急速に進化するAIの状況では、推論内部に関する膨大なトリビアや山のような研究論文を読む時間や意欲を持つ人は誰もいません—世界で最も成功しているモデルやエージェントを運用しているチームでさえもです。

Together Dedicated Model Inferenceは、月間400兆トークン以上を処理してきた経験から得た教訓を適用し、以下の推論プラットフォームを提供します。ユーザーにモデル、パフォーマンス、コスト、品質、機能の完全な制御を与え、各推論スタックとエンドポイント管理レイヤーをゼロから構築する際の時間、費用、および計画外のダウンタイムを防止し、最新の検証済み研究を継続的に取り入れて、パフォーマンス、品質、効率の最先端レベルを達成します。

今回のアップデートは、研究、モデル最適化、プラットフォームエンジニアリングチームの進歩を単一のサービスにまとめ、企業がオープンウェイト、ライセンスされたクローズドウェイト、およびファインチューニングされたモデルを本番環境でより簡単に、より信頼性高く、より最適に実行できるように設計されています。

この制御とシンプルさの組み合わせを実現するには、推論をAPIの背後でモデルをホストする以上のものとして扱う必要があります。使用する精度、デプロイするハードウェア、使用するサービング構成、およびトラフィックを拡張およびルーティングする方法はすべて、パフォーマンス、信頼性、コストに大きな影響を与えます。

私たちは、実験から本番への移行にプラットフォームの変更やデプロイの再構築を必要としないようにこのプラットフォームを構築しました。本番対応は、まだテストと反復を行っている段階でも基盤に組み込まれています。つまり、新しいバージョンを安全にロールアウトし、実際のトラフィックに対して変更をテストし、本番リクエストをシャドウし、デプロイ間でトラフィックをルーティングし、需要に応じてスケーリングし、期待どおりに機能しない場合はロールバックできます。

DecagonのMax Luは、この変化を次のように説明しています。「Togetherはすでに音声に必要なレイテンシを実現していました。彼らの新しい推論プラットフォームが変えるのは、次のモデルバージョンを出荷する方法です。新しいファインチューニングモデルをライブトラフィックのごく一部でカナリアし、主要なメトリクスが後退した場合に自動的にロールバックできます。『高速推論』から『毎週安全に反復できる高速推論』へと移行します。」

これこそが私たちが実現したかったことです。単に高速で効率的な推論だけでなく、不必要なリスクを導入することなく提供しているものを継続的に改善する能力です。Togetherがすでに最適化したパスから始めて、ワークロードがより特殊になるにつれてより多くの制御を引き受けることができます。この原則は、モデルの導入と構成方法から、スケーリング、変更のテスト、パフォーマンスの観測、新しいバージョンの本番への移行方法まで、プラットフォーム全体に反映されています。

プラットフォームは、Togetherのモデルプラットフォームからモデルをデプロイするか、独自のオープンウェイトまたはファインチューニングモデルを持ち込むことをサポートしています。Hugging Face、S3、またはローカルマシンから完全なモデルウェイトまたはアダプターをアップロードできます。このプラットフォームは、初期のファインチューンから最終的に本番トラフィックを処理するバージョンまで、モデルの完全なライフサイクルをサポートするように設計されています。

モデル自体はデプロイの一部にすぎません。ハードウェアタイプ、量子化、テンソル並列化、投機的デコード、サービングエンジンはすべて、ワークロードのパフォーマンスと経済性に影響を与えます。

強力な結果を得るために、これらの選択のすべての専門家になる必要はありません。Togetherデプロイプロファイルは、研究およびエンジニアリングチームがすでにテストおよび最適化した構成をパッケージ化しているため、ゼロから組み立てるのではなく、実績のあるセットアップから始めることができます。より多くの制御が必要な場合、それらの選択肢は引き続き利用可能です。さまざまなハードウェアと最適化プロファイルから選択し、時間の経過とともに、主にレイテンシ、スループット、またはその両方のバランスを最適化するかを選択できます。

モデルが大きくなればなるほど、起動時間は数百ギガバイトのウェイトを所定の位置に移動することによって支配されます。当社はモデルキャッシュと配布レイヤーを再構築し、これらのウェイトをフリート全体で共有し、デプロイが必要になる前にプロアクティブにウォームアップできるようにしました。内部テストでは、これによりいくつかのフロンティアモデルでウォームスタートが約4倍高速化されました。

デプロイ時間はモデルサイズによって異なります。小規模モデル（Qwen 2.5 7B、Llama 3.1 8Bなど）は約2〜5分、中規模モデル（GPT-OSS 20B、Qwen 3.5 35Bなど）は約3〜7分、大規模モデル（Llama 3.3 70B、Qwen 3 235Bなど）は約4〜12分、フロンティア規模のMoEモデル（Kimi K2.7、GLM 5.2など）は約7〜14分です。

モデルを特定のリージョンに固定するか、配置を柔軟にすることで、モデルが実行される場所を選択できます。また、デプロイがトラフィックの変化にどのように応答するかを定義できます。

ワークロードによって需要のシグナルが異なるため、オートスケーリングは単一の汎用メトリクスに制限されるべきではありません。プラットフォームは適切なデフォルトから開始し、ワークロードがより具体的なものを要求する場合、進行中のリクエスト、GPU使用率、最初のトークンまでの時間、レイテンシ、デコード速度、またはスループットに基づいてスケーリングできます。

推論エンドポイントは、単一の静的デプロイにマッピングする必要がなくなりました。同じエンドポイントの背後に複数のデプロイを作成でき、それぞれ異なるモデルウェイト、ハードウェア、またはサービング構成を使用できます。

これにより、アプリケーションがモデルを呼び出す方法を変更することを強制することなく、APIの背後で実行されているものを変更できます。エンドポイントは安定したまま、背後にあるデプロイが進化するため、アプリケーションレイヤーを再作業することなく、モデルや構成のテスト、ロールアウト、交換が容易になります。

カナリア、ブルーグリーン、またはローリングアップデートを使用して、新しいモデルバージョンと構成を段階的に導入します。プラットフォームはトラフィックの移動とデプロイのライフサイクルを処理しながら、変更の進行速度と停止またはロールバックするタイミングを制御できます。自分でロールアウトメカニズムを構築することなく、必要な本番制御を得られます。

A/Bテストを使用して、トラフィックの割合を異なるデプロイにルーティングし、その動作を直接比較します。シャドウトラフィックを使用して、本番リクエストを新しいデプロイにミラーリングし、ユーザーに返される応答に影響を与えません。

これにより、オフラインベンチマークや合成テストのみに依存するのではなく、実際に重要となるトラフィックを使用して、新しいウェイト、構成、ハードウェアを評価できます。

新しいプラットフォームは、組織レベルのスクレイプ可能なPrometheusエンドポイントを提供し、選択した可観測性ツールに接続して、ダッシュボードの構築、アラートの設定、ロールアウトの健全性の監視、A/Bテストバリアントの比較、本番に対するシャドウトラフィックの測定が可能です。また、製品内分析エクスペリエンスをリフレッシュし、Together内でデプロイの健全性、トラフィック、パフォーマンス、スケーリング動作を直接理解しやすくしました。

推論プラットフォームに加えて、フルウェイトおよびLoRA強化学習、高度な教師ありファインチューニングを含むカスタムトレーニングのクローズドベータ版を開始します。Python SDKと詳細なプリミティブを通じてトレーニングを構成し、専用容量で複数のLoRA実験を同時に実行できます。カスタムトレーニングは実験を本番に直接接続します。チェックポイントの評価準備ができたら、それをネイティブに推論デプロイにデプロイでき、トレーニングとサービングの間に個別の引き継ぎは不要で、同じプラットフォーム上でトレーニング後の実験から本番評価に移行するためのセットアップの再構築も不要です。クローズドベータ中はアクセスが制限されています。

今回のアップデートは始まりにすぎません。これは、モデルをトレーニング、最適化、デプロイ、測定、継続的に改善できるプラットフォームの基盤であり、ライフサイクルの各部分ごとに異なるシステムをつなぎ合わせる必要はありません。

オープンウェイトモデルは、企業に品質、パフォーマンス、コストに対する多大な制御を提供します。私たちの仕事は、推論をDIYインフラストラクチャプロジェクトに変えることなく、その制御を利用しやすくすることです。つまり、機能するデフォルト、すでに最適化した構成、および必要な場合のより深い制御を提供することを意味します。

今後数週間で、デプロイプロファイル、モデル起動、オートスケーリング、可観測性、ロールアウト、A/Bテスト、シャドウトラフィックなど、プラットフォームの背後にあるシステムについてさらに詳しく説明します。今のところ、新しいDedicated Model Inferenceプラットフォームが利用可能であり、初期の反復から本番へ移行し、そこに到達したら提供するものを継続的に改善するのに役立ちます。