本文にスキップ
AI News HubLIVE
サイト内リライト7 分で読了

Amazon SageMaker HyperPod Inference でマネージド NVIDIA Dynamo を利用可能に

記事の要約

Amazon SageMaker HyperPod Inference が NVIDIA Dynamo をサポートし、マルチノードおよび分離型サービング、KV 対応ルーティング、自動障害復旧を提供。オーケストレーション層を自前で構築せずに大規模モデルを多数ノードでサービングできます。

ソースAWS Machine Learning Blog著者: Vinay Arora
Amazon SageMaker HyperPod Inference でマネージド NVIDIA Dynamo を利用可能に
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

大規模言語モデル(LLM)を効率的にサービングするには、十分な GPU メモリと、プロンプト処理とトークン生成の慎重な調整が必要です。たとえば、GLM-5.3 の FP8 重みは、KV キャッシュとランタイムオーバーヘッドを考慮する前の時点で、単一の ml.p5.48xlarge インスタンスの 640 GB の GPU メモリを超えます。長いプロンプトが同じ GPU を共有すると、トークン生成が遅くなることもあります。

Amazon SageMaker HyperPod Inference は NVIDIA Dynamo をサポートするようになり、Dynamo の分散推論機能と HyperPod のインフラストラクチャ管理を組み合わせてこれらの課題に対処します。Dynamo はオープンソースの分散推論フレームワークで、マルチノード展開、分離型プリフィルとデコード、vLLM、SGLang、TensorRT-LLM などのエンジンとの KV 対応ルーティングをサポートします。HyperPod は、高性能 Elastic Fabric Adapter(EFA)ネットワーキング、調整された GPU スケジューリング、ノードのヘルス監視と復旧によってこれらの展開を支援します。この記事では、展開例を通じてマルチノードと分離型サービングを説明し、ベンチマーク結果を共有し、HyperPod で推論を最適化するためのベストプラクティスを概説します。

統合の仕組み

HyperPod Inference アドオンは、Dynamo カスタムリソース定義と次のサービングおよびスケジューリングコンポーネントをインストールします:

HyperPod Inference Operator は、InferenceEndpointConfig(IEC)カスタムリソースを通じてエンドポイント展開を管理します。その dynamoSpec セクションが Dynamo 設定を提供します。

Dynamo operator は、DynamoGraphDeployment(DGD)で定義されたリソース(フロントエンド、モデルワーカー、レプリカ数、リソース要件など)を管理します。

Grove は、マルチノードワーカーを含む関連する Pod グループとそのスケーリング関係を調整します。

Kubernetes AI(KAI)Scheduler は GPU リソース上に Pod を配置し、ギャングスケジューリングを使用してマルチノードワーカーに必要な Pod をまとめてスケジュールします。

AWS Deep Learning Containers(DLC)は Dynamo ランタイムを提供し、アドオンは統合コンポーネントのバージョンを管理します。サポートされている Dynamo リリースを採用するには、アドオンを更新します。

展開アーキテクチャ

次の図は、SageMaker HyperPod 上の分離型推論の展開経路、サービングコンポーネント、インフラストラクチャ管理を示しています。Dynamo フロントエンドは、プロンプトを処理するプリフィルワーカーとトークンを生成するデコードワーカーにリクエストをルーティングします。これらの独立したプールにより、独立したスケーリングとチューニングが可能になります。両方のプールが完全なモデル重みをロードし、KV キャッシュは EFA を介してそれらの間で転送されます。

Dynamo は、プリフィルとデコードが同じワーカーで実行される集約型サービングもサポートします。どちらのトポロジでも、ワーカーは単一のインスタンスで実行することも、テンソル並列とパイプライン並列を使用して複数のインスタンスにまたがることもできます。Dynamo の KV 対応ルーターは、両方のトポロジで再利用可能なプレフィックス KV キャッシュとアクティブなワーカー負荷を考慮します。プレフィックスの再利用はプロンプトの再計算を減らし、最初のトークンまでの時間を改善できます。負荷認識はワーカーの過負荷を防ぐのに役立ちます。Dynamo アーキテクチャの詳細については、Dynamo ナレッジベースの概要を参照してください。

HyperPod はノード、GPU、EFA のヘルス監視を提供し、ノード交換を管理します。オーケストレーションコンポーネントは影響を受けるワーカーを再作成します。dynamoSpec を使用して InferenceEndpointConfig で構成された展開は、SageMaker エンドポイントを通じた呼び出しをサポートします。

図 1: Amazon SageMaker HyperPod Inference 上の NVIDIA Dynamo の展開経路、サービングコンポーネント、インフラストラクチャ管理

展開を構成する 2 つの方法

HyperPod に不慣れな場合でも、Dynamo に不慣れな場合でも、またはその両方の場合でも、アドオンはワークフローに合わせた 2 つの展開経路を提供します:

Bring-your-own DynamoGraphDeployment(DGD) は、既存の Dynamo ユーザーがアップストリームのドキュメント、レシピ、マニフェストを引き続き使用できるようにし、Dynamo operator が展開を管理します。既存の DGD を HyperPod に持ち込むには、サポートされているコンテナイメージを使用し、クラスターのストレージ、ネットワーキング、Pod 配置を構成します。

InferenceEndpointConfig with dynamoSpec は、既存の HyperPod Inference ユーザーが、すでに使い慣れた同じ構成形式と OpenAI 互換インターフェースを使用して新しい Dynamo エンドポイントを展開できるようにします。推論エンジンには、vLLM、SGLang、または TensorRT-LLM を選択でき、デフォルトでは vLLM が使用されます。Operator は KV 対応ルーティングとレプリカ数のデフォルトも提供します。

どちらの経路も単一インスタンスとマルチノードの展開をサポートします。どちらの場合も、HyperPod がノードのヘルスと交換を管理します。次の表は各経路の責任をまとめたものです。

Bring-your-own DGD InferenceEndpointConfig with dynamoSpec

記述するもの 完全な DGD マニフェスト dynamoSpec を含む IEC

最適な用途 サービンググラフを直接制御したい、または既存の DGD を再利用したいチーム IEC を通じたマネージドエンドポイント設定を望むチーム

モデルの重み 重みのダウンロードまたはマウントを構成 Operator が Amazon Simple Storage Service(Amazon S3)または Amazon FSx から重みをステージング

エンドポイント、TLS、登録 これらのリソースを構成および管理 HyperPod Inference Operator を通じて管理

自動スケーリング スケーリングを構成および管理 autoScalingSpec を通じた Kubernetes Event-driven Autoscaling(KEDA)。集約型と分離型の両方の展開に対応

展開例:GLM-5.3

次の抜粋では、ml.p5.48xlarge インスタンス上の vLLM を使用した InferenceEndpointConfig(IEC)展開経路を使用します。Dynamo 固有の設定は spec.dynamoSpec の下にあります。モデルソースとエンドポイント設定は完全なマニフェストに含まれています。

マルチノード集約型サービング

この構成は、2 つのインスタンス(16 GPU)にまたがる 1 つのモデルワーカーレプリカを実行し、リクエスト処理用に 2 つのフロントエンドレプリカを使用します。dynamoSpec.frontend.routingMode を kv-aware に設定すると、KV 対応ルーティングが有効になります。

spec: replicas: 1 dynamoSpec: modelServer: vllm frontend: replicas: 2 routingMode: kv-aware aggregation: nodesPerReplica: 2 tensorParallelism: 16

ここで、spec.replicas はモデルワーカーレプリカの数を制御し、frontend.replicas はフロントエンドレプリカの数を制御します。

マルチノード分離型サービング

spec.dynamoSpec の下の aggregation を次の disaggregation ブロックに置き換え、前述のフロントエンド構成を維持します。レプリカ数はプリフィルとデコードで個別に設定されます。この例では、1 つのプリフィルレプリカと 2 つのデコードレプリカを実行し、それぞれが 2 つのインスタンスにまたがり、合計 6 つのインスタンスになります。

disaggregation: prefill: nodesPerReplica: 2 tensorParallelism: 16 replicas: 1 decode: nodesPerReplica: 2 tensorParallelism: 16 replicas: 2

展開を適用する

完全なマニフェストを kubectl apply で適用します。HyperPod Inference Operator は構成されたモデルの重みをワーカーが利用できるようにし、DGD を生成します。Grove と KAI Scheduler は配置を調整し、各マルチノードワーカーに必要な Pod がまとめてスケジュールされるようにします。

SageMaker エンドポイントが準備完了し、チャット補完用に構成された後、クライアントは SageMaker Runtime API を通じて OpenAI 互換のリクエストペイロードを送信できます:

aws sagemaker-runtime invoke-endpoint \ --endpoint-name glm53 \ --content-type application/json \ --body '{"model":"zai-org/GLM-5.3","messages":[{"role":"user","content":"Hello"}],"max_tokens":128}' \ --cli-binary-format raw-in-base64-out \ out.json

ベンチマーク

SageMaker HyperPod 上の Dynamo を 2 つのモデルでベンチマークし、サービング構成を比較しました。

Qwen3-235B の分離型プリフィルとデコード

AIPerf を使用して、Dynamo と TensorRT-LLM を使った Qwen3-235B-A22B-FP8 の集約型と分離型サービングを比較しました。2 つの p5en.48xlarge インスタンス(16 H200 GPU)を使用しました。リクエストは 4,000 入力トークンと 200 出力トークンを含んでいました。P90 の最初のトークンまでの時間が 1 秒未満、ユーザーあたりの中央値生成速度が毎秒 50 トークン以上という 2 つの目標を満たす測定ポイントを保持しました。これらのポイントの中で、分離型サービングは最高の集約型スループットの 2.05 倍を達成しました:同時実行数 80 と 32 で、それぞれ GPU あたり 207 対 101 出力トークン/秒です。

図 2: Qwen3-235B-A22B-FP8 の集約型と分離型サービングのスループット比較

Qwen3.5-397B のマルチノード集約型サービング

Dynamo は、単一インスタンスの GPU メモリを超えるモデルに対して、集約型と分離型の両方のモードでマルチノードサービングをサポートします。ノードにまたがるワーカーを評価するために、AIPerf を使用して Qwen3.5-397B-A17B-FP8 のマルチノード集約型サービングを Dynamo と vLLM でベンチマークし、TP4 × PP2 と 8 つのアクティブな H200 GPU を使用しました。このモデルは 1 つのインスタンスに収まるため、実際には分割しません。ここでは制御されたベースラインとして機能します。同じモデル、並列処理、ワークロード構成を使用して、1 つの p5en.48xlarge 上の 8 GPU と、2 つのインスタンス上の各 4 GPU を比較しました。同時実行数 32 で高いプレフィックス再利用を特徴とするエージェントワークロードでは、2 ノード構成は GPU あたり毎秒 126.4 出力トークンを提供し、シングルノードのスループットの 99.1% を維持しました。これは、SageMaker HyperPod 上の Dynamo が複数のインスタンスを必要とするモデルをサービングできることを示しています。ノード境界自体が大きなスループットペナルティになることはありません。

図 3: Qwen3.5-397B-A17B-FP8 のマルチノード集約型サービングにおけるシングルノードと 2 ノードのスループット比較

最適化された推論のベストプラクティス

NVIDIA Dynamo は、サービング構成の選択、パフォーマンスのベンチマーク、SageMaker HyperPod 上の展開のチューニングに役立つレシピとツールを提供します。

一致するレシピから始める – モデル、推論エンジン、GPU タイプに合った Dynamo レシピを選択します。ワーカーのサイジングでは、モデルの重み、KV キャッシュ、ランタイムメモリを考慮します。サポートされている構成では、AISimulate が GPU でテストする前に、集約型と分離型サービングの比較、並列処理の選択、プリフィルとデコードワーカープールのサイジングに役立ちます。

ベンチマーク前に通信を確認する – インスタンスにまたがる展開では、プリフィルワーカーとデコードワーカー間の KV キャッシュ転送を含め、通信が意図した EFA トランスポートを使用していることを確認します。Dynamo EFA ガイドを参照してください。

代表的なトラフィックをベンチマークする – AIPerf でトラフィックを再生するか、代表的なプロンプト長、出力長、プレフィックス再利用を含む生成されたエージェントトレースを使用します。構成ごとに同時実行数をスイープし、SLA を満たすポイントを保持し、コストとレイテンシの優先順位に基づいて選択します。

測定されたボトルネックからチューニングする – エンジン設定の前にトポロジとワーカー割り当てを調整し、一度に 1 つの変数だけを変更します。パフォーマンスチューニングガイドに従うか、Dynamo 最適化エージェントスキルを使用してベンチマークとチューニングを支援します。各候補をターゲットの HyperPod 展開で検証します。

結論

SageMaker HyperPod Inference 上の NVIDIA Dynamo は、マルチノードサービング、分離型プリフィルとデコード、KV 対応ルーティングにより、大規模モデルの展開と運用を簡素化します。マネージドアドオンはサービングコンポーネントをインストールし、構成のデフォルトがエンドポイント設定を簡素化します。HyperPod はモデルの重みを管理し、GPU と推論メトリクスに基づいてクラスターを自動スケーリングし、ノードのヘルスを監視し、故障したノードを交換します。これらの機能により、差別化されないインフラ作業が削減され、チームはモデルとアプリケーションに集中できます。リンクされたリポジトリのセットアップ手順と完全な展開例から始めてください。

謝辞

著者は、この記事への貢献に対して NVIDIA の Eliuth Triana、Felipe Garcia、Sanjana Checker、Junyuan Yang、Jiahong Liu、Anish Maddipoti、Jacob Kern、Abdullahi Olaoye に感謝します。また、AWS の Can Sun、Ophelia Yang、Aryaman Kothari、David Oh、Ayush Kumar の貢献にも感謝します。

著者について

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • HyperPod Inference アドオンは Dynamo CRD とサービングコンポーネント(Inference Operator、Dynamo operator、Grove、KAI Scheduler)をインストール。
  • デプロイ経路は2つ:既存の DynamoGraphDeployment(DGD)を持ち込むか、dynamoSpec 付き InferenceEndpointConfig を使用。
  • ベンチマークでは Qwen3-235B で分離型サービングが集約型の 2.05 倍のスループットを達成し、2ノードのマルチノード集約型サービングはシングルノードの 99.1% のスループットを維持。
  • HyperPod がノードのヘルス監視、交換、EFA ネットワーク、GPU スケジューリングを管理し、差別化されないインフラ作業を削減。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。