データキャプチャ、Hugging Face、NVMe、Route 53 統合による Amazon SageMaker HyperPod のエンタープライズ推論の強化

エンタープライズが生成 AI ワークロードを拡大するにつれて、より高速で可観測性が高く、柔軟な推論インフラストラクチャへの需要が高まっています。Amazon SageMaker HyperPod は、この課題に対応するため、組織が本番環境で大規模モデルをデプロイおよび運用する方法を合理化する一連の新機能を導入しています。チームは、推論パスの複数のポイント（エンドポイント、ロードバランサー、モデルポッド）で入出力を記録できるようになりました。宣言型カスタムリソース定義 (CRD) 構成により、深い可観測性と監査可能性が提供されます。また、人気のコミュニティハブからモデルを直接デプロイでき、オブジェクトストレージやファイルストレージにウェイトを事前にステージングする必要はありません。ゲートアクセス、リビジョン固定、トークン分離をサポートし、vLLM、TGI、SGLang などの主要な推論ランタイムと互換性があります。

デプロイ以外にも、これらの拡張機能は、パフォーマンスとセキュリティの大幅な向上をもたらします。ノードローカルの NVMe ストレージからウェイトを読み込むことで、コールドスタートレイテンシーが削減され、必要に応じてクラウドストレージに自動的にフォールバックします。HyperPod はカスタムドメインの DNS レコードを自動的に管理し、きめ細かなポッドレベルの AWS Identity and Access Management (IAM) 権限により、インフラストラクチャチームはセキュリティ境界を細かく制御できます。これらの機能により、HyperPod 上でより高性能でセキュア、かつエンタープライズ対応の推論エクスペリエンスが実現します。チームは、ガバナンスや運用の可視性を犠牲にすることなく、AI アプリケーションをより迅速に提供できます。

推論データキャプチャは、このアップデートの重要な機能です。SageMaker AI エンドポイント、Application Load Balancer、モデルポッドを通過する推論リクエストの各レベルで、データキャプチャを個別に制御および構成できます。これにより、ユースケースに応じて適切な可視性の深さを選択する柔軟性が得られます。データキャプチャは 3 つのティアで構成されます。Tier 1 は SageMaker AI Runtime API 境界で完全な入出力ペイロードをキャプチャし、エンドポイントの登録が必要で、SageMaker AI Model Monitor との互換性が必要な場合に使用します。Tier 2 は Application Load Balancer のアクセスログを有効にし、クライアント IP、リクエストパス、レイテンシーなどのリクエストメタデータをキャプチャします。Tier 3 は推論コンテナで完全な入出力ペイロードをキャプチャし、設定可能なサンプリング、バッファリング、ペイロードサイズ制限をサポートし、エンドポイント登録は不要で、モデルに最も近い深い可視性が必要な場合に使用します。任意の組み合わせで有効にできます。

データキャプチャを構成するには、InferenceEndpointConfig または JumpStartModel CRD に dataCapture セクションを追加します。S3 URI、サンプリングパーセンテージ、AWS KMS キーによる暗号化、キャプチャオプション（入力または出力）、バッファおよびペイロードサイズ設定を指定できます。すべてのティアは Amazon S3 バケットに書き込まれ、s3Uri を指定しない場合、デフォルトで TLS 証明書バケットの /data-capture/ プレフィックスが使用されます。各デプロイメントには、クラスター ARN、ネームスペース、CRD タイプ、デプロイメント名から派生したハッシュに基づく一意のパスが割り当てられ、同じデプロイメントを対象とする複数の CRD 送信からのデータキャプチャアーティファクトは、同じ S3 サブフォルダーにフローします。

Hugging Face モデルソースについては、HyperPod は Hugging Face Hub からの直接デプロイをサポートしており、Amazon S3 や FSx への事前ステージングは不要です。このソースは、tokenSecretRef によるゲートモデルアクセス、commitSHA によるリビジョン固定、トークン分離をサポートしています。vLLM、TGI、SGLang ランタイムと互換性があります。デプロイするには、有効な modelId、Hugging Face トークンを含む Kubernetes Secret、およびウェイトダウンロード用のボリュームマウントを持つ GPU 対応ワーカーが必要です。kubectl コマンドを使用して Secret を作成し、エンドポイント名を設定し、YAML ファイルを適用します。デプロイステータスは Kubernetes イベントと describe コマンドで確認でき、最後に SageMaker Runtime invoke-endpoint コマンドでエンドポイントをテストします。

Route 53 DNS 管理機能により、カスタムドメインの DNS レコードを自動的に作成および管理できます。CRD でホストゾーン ID を指定すると、Operator がカスタムドメインのレコード作成、更新、クリーンアップを処理します。前提条件として、ドメインをカバーする Issued 状態の AWS Certificate Manager (ACM) 証明書と Route 53 ホストゾーンが必要です。推論 Operator 実行ロールに ACM、S3、Route 53 の権限を追加する必要があります。構成するには、モデルデプロイ YAML に tlsConfig と dnsConfig セクションを追加し、ACM ARN、ドメイン名、TLS 証明書出力 S3 URI、ホストゾーン ID を指定します。ドメイン名は ACM 証明書のドメインと一致する必要があります。kubectl describe コマンドで DNS ステータスを確認でき、レコード名、ホストゾーン ID、DNS ヘルスステータスが表示されます。

さらに、HyperPod はカスタムサービスアカウントによるポッドレベル IAM 機能も提供し、きめ細かなセキュリティ制御を実現します。これらの機能は、ガバナンスと運用の可視性を維持しながら、AI アプリケーションをより迅速に提供できるエンタープライズ対応の推論プラットフォームを構築します。