トラフィックのピーク時、リクエストが飽和した HyperPod クラスターのキューで待機している間に、別のクラスター(場合によっては別の AWS リージョン)の GPU がアイドル状態になっていることがあります。その容量に対してすでに支払い済みであっても、リクエストはそこに到達できません。
この問題を解決するため、AWS は Amazon SageMaker HyperPod Global Inference Gateway を発表しました。これは、登録したすべてのクラスター間でリクエストをルーティングする SageMaker マネージドゲートウェイです。同じリージョン内でもリージョンをまたいでも機能します。ゲートウェイはクラスターを選択し、AWS バックボーンを介してリクエストを転送します。自動フェイルオーバーと、AWS Signature Version 4(SigV4)および AWS Identity and Access Management(IAM)による認証を提供します。各クラスター内では、既存の Inference Gateway が引き続き最適なポッドを選択します。
背景と課題
モデルが大規模になるにつれ、それを提供するための GPU 容量の確保が難しくなっています。十分な容量を得るために、チームはリソースをより多くのクラスターとリージョンに分散させます。
たとえば、チームが 2 つのリージョンの 5 つの HyperPod クラスターで 4 つのモデルを提供しているとします。Inference Gateway がない場合、クライアントは 20 のエンドポイント(モデルごと、クラスターごとに 1 つ)を追跡する必要があります。Inference Gateway を使用すると、クラスターごとに 1 つのエンドポイントになり、5 つに削減されますが、各クライアントは依然としてクラスターを自分で選択する必要があります。この選択にはコストがかかります。負荷の不均一(ピーク時に一方のリージョンでリクエストがキューに入り、もう一方のリージョンの GPU がアイドル状態になる)、手動フェイルオーバー(クラスター障害時にエンジニアが設定を変更してトラフィックを移動する)、カスタムプラミング(リージョン間でトラフィックを分散するには、ロードバランサー、DNS、リージョン間ネットワーキングを自分で構築および維持する必要がある)です。
主な利点
Global Inference Gateway は、すでに持っている GPU 容量をより有効に活用し、運用負担を軽減します。ピーク時に、飽和したクラスターでキューに入る代わりに、同じリージョンまたは別のリージョンにある空き容量のあるクラスターにリクエストをオーバーフローさせます。クラスターに障害が発生すると、ゲートウェイは自動的にトラフィックを次善のクラスターに移動します。クライアントは何も変更する必要がありません。クライアントは、クラスターごとまたはモデルごとに 1 つのエンドポイントを追跡する代わりに、単一の SageMaker マネージドエンドポイントを呼び出します。ロードバランサー、DNS、リージョン間ネットワーキングを構築または維持する必要はありません。すべてのリクエストは SigV4 と IAM で認証され、AWS PrivateLink を介してのみクラスターに到達するため、デフォルトでプライベートです。
顧客の声
Bagelcode の AI プラットフォーム担当バイスプレジデント、Jinhyung Park 氏は次のように述べています。「Bagelcode では、AWS 上で独自の LLM 推論サービスを運用し、ゲームチームを含む社内のチームが AI を活用して業務を改善できるようにしています。ベータテストでは、Amazon SageMaker HyperPod の Global Inference Gateway が単一のエンドポイントを介して 2 つの AWS リージョンにわたってリクエストをルーティングし、1 つのクラスターがモデルを提供できなくなった場合でもサービスを継続しました。これにより、小規模なプラットフォームチームは、独自のルーティング層を構築または維持することなく、クロスリージョンフェイルオーバーを実現できました。」
仕組み
ゲートウェイの設定には 2 つの決定が必要です。どのクラスターをルーティング用に公開するか、およびそれらのどれを 1 つのゲートウェイの背後にグループ化するかです。
クラスターの公開:クラスターごとに 1 回実行します。クラスターの既存の InferenceGatewayConfig で spec.globalRouting ブロックを有効にします。その後、HyperPod Inference コントローラーがアカウントからクラスターをプライベートに公開します。クラスターを公開すると、コントローラーはクラスターの Inference Gateway の前にネットワークロードバランサーを作成し、その上に VPC エンドポイントサービスを公開し、リスナーの証明書を TLS バケットにアップロードします。これらのリソースはアカウント内に存在します。公開する前にクラスターをゲートウェイにリストすると、呼び出しは失敗し、修正が必要な内容が示されます。
ゲートウェイの作成:ゲートウェイごとに 1 回実行します。ルーティングするクラスターを指定して CreateGlobalInferenceGateway を呼び出すと、SageMaker が 1 つのエンドポイントを返します。
リクエストの流れ
クライアントは SigV4 でリクエストに署名し、ゲートウェイのリージョンエンドポイントに送信します。ゲートウェイは呼び出し元を認証し、最適なクラスターを選択します。AWS PrivateLink がリクエストをそのクラスター(同じリージョンまたは別のリージョン)に運び、クラスターの Inference Gateway がそれをモデルポッドにルーティングします。各クラスターは負荷をゲートウェイに公開します。
AWS が運用するもの
どのクラスターを公開するか、どのクラスターをゲートウェイの背後にグループ化するか、ルーティングをどのように重み付けするかはお客様が決定します。AWS は残りを運用します。ルーティングフリート(SageMaker が TLS を終端し、呼び出し元を認証し、クラスターをスコアリングし、各リクエストを転送するフリートをプロビジョニングおよび運用します)、プライベート接続(SageMaker はクラスターごとに 1 つのプライベートエンドポイントを作成し、AWS バックボーンを介してリージョン内およびリージョン間でトラフィックを運びます)、証明書と検証(お客様が作成した実行ロールを使用して、サービスは各クラスターの VPC エンドポイントサービス名、証明書、リージョンを読み取るため、手動でコピーする必要はありません。トラフィックをルーティングする前にそれらをチェックします)、ヘルスとフェイルオーバー(ゲートウェイはすべてのクラスターをヘルスチェックし、障害が発生したクラスターから自動的にトラフィックを移動します)、認証とレート制限(ゲートウェイは SigV4 署名、IAM アクセス許可、レート制限をチェックし、失敗したリクエストをクラスターが認識する前に拒否します)。各クラスターでは、独自の IAM ロールを持つサービス管理のメトリクスパブリッシャーがクラスターの負荷をゲートウェイに送信します。
ゲートウェイのクラスター選択方法
各リクエストについて、ゲートウェイは 4 つのシグナルで各正常なクラスターをスコアリングし、最高スコアのクラスターにリクエストを送信します。各クラスターのメトリクスパブリッシャーが負荷シグナルを提供します。ルーティングの重みを使用して、各シグナルの重要度を制御できます。各重みは 0.0 から 1.0 の値で、0 にするとそのシグナルがオフになります。重みを設定する場合は 4 つすべてを設定し、合計が 1.0 になる必要があります。省略した場合は、デフォルト値(KVHeadroom 0.20、QueueDepth 0.25、RegionProximity 0.40、ErrorRate 0.15)が適用されます。デフォルトでは、ゲートウェイのリージョンに近いクラスターが優先されつつ、利用可能な容量のあるクラスターにトラフィックが向けられ、障害が発生しているクラスターから遠ざけられます。ワークロードの回復力が近接性より重要である場合は、ErrorRate を上げ、RegionProximity を下げます。たとえば、次のルーティングブロックは最近のエラーの重みを 0.7 に設定します:{"Weights": {"KVHeadroom": 0.1, "QueueDepth": 0.1, "RegionProximity": 0.1, "ErrorRate": 0.7}}。重みは CreateGlobalInferenceGateway の Routing パラメータで渡し、後で UpdateGlobalInferenceGateway で変更できます。
開始点の選択
現在実行している内容によってパスが異なります。単一のクラスターから提供している場合は、そのクラスターの Inference Gateway エンドポイントを使い続けます。2 つ目のクラスターを追加するときに Global Inference Gateway に移行します。すでに Inference Gateway を使用している場合(たとえば、us-east-1 と us-west-2 の 5 つのクラスターで 4 つのモデルを実行している場合)、アドオンを更新し、各クラスターを公開し、ゲートウェイを作成します。結果は、すべてのクラスター用の単一エンドポイントになります。クライアントを移行する間、クラスターごとのエンドポイントは提供を続けます。HyperPod Inference アドオンが Inference Gateway をオフにして実行されている場合は、1 回のアドオン更新とクラスターごとの InferenceGatewayConfig で Inference Gateway をオンにし、モデルごとにスケジューラを追加してから、最初の行に従います。これにより、モデルごとのエンドポイントが 1 つに統合されます。2 つのリージョンに GPU 容量があるが HyperPod Inference をまだセットアップしていない場合は、各リージョンに HyperPod クラスターを作成し、HyperPod Inference アドオンをインストールし、モデルをデプロイし、Inference Gateway をオンにして、最初の行に従います。これにより、初日から 1 つのエンドポイントが得られ、ルーティングを微調整でき、リージョンに問題が発生してもサービスを継続できます。
はじめに
Global Inference Gateway を設定するには、各クラスターを準備し、実行ロールを作成し、CreateGlobalInferenceGateway を呼び出します。次に、署名された OpenAI 互換リクエストをゲートウェイエンドポイントに送信します。IAM ロールとポリシーを含むステップバイステップの手順については、AWS ドキュメントを参照してください。
セキュリティとアクセス
ゲートウェイへのすべてのリクエストは SigV4 で署名され、IAM で認可されます。呼び出し元はゲートウェイを呼び出す権限を持っている必要があり、ストリーミングには独自のアクションがあります。たとえば、次のポリシーはゲートウェイの呼び出しを許可します。
{ "Version": "2012-10-17", "Statement": [{ "Effect": "Allow", "Action": [ "sagemaker:InvokeGlobalInferenceGateway", "sagemaker:InvokeGlobalInferenceGatewayWithResponseStream" ], "Resource": "arn:aws:sagemaker:::global-inference-gateway/" }] }
このポリシーを、リクエストを送信する各 IAM ID にアタッチします。アカウント内のすべてのゲートウェイを許可するには、リソースとして global-inference-gateway/* を使用します。
実行ロールは最小権限に従います。リストしたクラスターのみを記述でき、それらの Amazon EKS API にのみアクセスでき、TLS バケットの gig/ プレフィックス下にある HyperPod Inference によって作成されたタグが付いたルーティング証明書のみを読み取ることができます。
ID トークン:クラスターが JSON Web Token(JWT)をチェックする場合、トークンを --customer-identity-token(X-Amzn-SageMaker-Customer-Identity-Token ヘッダー)で渡します。Bearer プレフィックスは付けません。トークンは SigV4 署名内で送信されるため、署名されていないトークンは 403 で拒否され、繰り返されたトークンは 400 で拒否されます。モデルを提供するすべてのクラスターで JWT チェックをオンにするか、すべてオフにして、リクエストがあるクラスターでは成功し、別のクラスターでは失敗することを防ぎます。
リクエストは AWS PrivateLink を介してのみクラスターに到達します。ゲートウェイはプロンプトや完了をログに記録または保存しません。
ゲートウェイの操作
クラスターの追加:ドキュメントの説明に従って、新しいクラスターを準備し、その上に実行ロールの EKS アクセスエントリを作成します。また、新しいクラスターを実行ロールのアクセス許可ポリシーの Resource リストに追加します。次に、新しいクラスターが別のリージョンにある場合でも、ゲートウェイのリージョンで AddInferenceGateway を呼び出します。ゲートウェイはクラスターを検証し、正常になった時点でルーティングを開始します。エンドポイント、他のクラスター、クライアントは影響を受けません。
クラスターの切断:ゲートウェイのリージョンで RemoveInferenceGateway を呼び出します。ゲートウェイは新しいリクエストをクラスターに送信するのを停止し、進行中のリクエストを完了させ、プライベートエンドポイントを削除します。ゲートウェイは常に少なくとも 1 つのクラスターを保持します。クラスターを完全に撤回するには、その InferenceGatewayConfig で globalRouting.enabled: false を設定して再適用します。
ゲートウェイの削除:DeleteGlobalInferenceGateway を呼び出します。ゲートウェイエンドポイントは提供を停止し、クラスターごとのエンドポイントは提供を続けます。ゲートウェイを削除した後、各クラスターを撤回します。