Baseten Frontier Gateway の発表：AI ラボ向け本番グレード推論APIゲートウェイ

Baseten は本日、Baseten Frontier Gateway を発表しました。これは、AI ラボが自社のドメイン名でモデルをホストし、推論 API を提供できるようにする、本番グレードのマルチテナント API ゲートウェイです。ラボは別途ゲートウェイを構築したり購入したりする必要がなくなります。

現在、AI のフロンティアは急速に進化しています。大規模モデルの能力は均一に拡大するわけではなく、タスクごとに不規則な「能力シルエット」を形成しています。これは、フロンティアモデルが単独ではすべてのタスクに優れることはできず、専門化が必要であることを意味します。同時に、フロンティア品質のモデルをトレーニングする障壁は低下し、かつては一部の資本豊富なラボに限られていたツールや技術、人材が広く利用可能になり、新しいモデルラボの「カンブリア爆発」が起きています。毎週新しいラボが登場し、画像生成、動画、音声、コード、推論、強化学習エージェントなど、さまざまなモダリティとユースケースをカバーしています。

これらのモデルラボが優れているのは、研究を中核とし、インフラストラクチャではないからです。彼らの競争優位は研究とその成果にあり、認証や課金システム、GPU容量管理にはありません。しかし、Frontier Gateway が登場するまでは、モデルラボが API アクセスを提供する準備ができたとき、選択肢は限られていました。自社構築には認証・認可、APIキー管理、レート制限、使用量計測、課金統合など、数か月のエンジニアリング時間と継続的なメンテナンスが必要であり、さらにセキュリティリスク（例：LiteLLM の侵害）や運用リスクも伴います。一方、サードパーティ製ゲートウェイを購入する場合、レイテンシの増加、モデルオーケストレーションの困難さ、課金の複雑さといった問題があります。

Baseten Frontier Gateway は、これらの課題を解決します。これは Baseten Dedicated Inference 上にネイティブに構築されたマネージドルーティング層であり、推論インフラと同一ロケーションに配置されるため、レイテンシや統合のオーバーヘッドがありません。主な機能には、認証・認可、フェデレーテッド API キー管理、ユーザーごとのレート制限と使用制限、課金とメータリング、そしてホワイトレーベルブランディングが含まれます。

このゲートウェイを使用することで、ラボは Baseten 推論プラットフォームの全機能を継承できます。99.99% のアップタイム、グローバルな弾性 GPU プール、最適化された推論スタックによる低レイテンシと高スループット、そして SOC 2 Type 2、SOC 3、HIPAA、CCPA、PCI DSS、GDPR などのコンプライアンスをすぐに利用できます。

実際のユースケースでも実証されています。最初に Frontier Gateway を採用した Poolside は、パフォーマンス、実行速度、協業の質のすべてで期待を上回る結果を得ました。Baseten のエンジニアリングチームは Triton MoE バックエンドを活用し、Laguna XS.2 で P50 TTFT 146ms、P90 TTFT 1.5s、Laguna M.1 で P50 TTFT 605ms、P90 TTFT 3.9s という成果を達成しました。

Baseten Frontier Gateway は完全なドキュメントとともに利用可能です。本日から新規ラボのオンボーディングを開始しています。興味のある方は申請を送信してください。