大規模モデルトレーニングは GPU 上で実行できる最も高価なワークロードの一つであり、1台の不健全なアクセラレータが分散ジョブ全体を停止させる可能性があります。トレーニングのスループットが低下したとき、問題があることに気づくのは難しくありません。難しいのは、その原因と場所を特定することです。チームは多くの場合、数時間から数日をかけてログと分断されたダッシュボードを調べ、遅延が GPU のスロットリング、ネットワークリンクの飽和、ホスト上のデータパイプラインの停止のどれに起因するかを判断します。
Amazon SageMaker HyperPod は本日、GPU トレーニングの問題をより迅速に診断するための強化された可観測性を発表しました。これは、Amazon Elastic Kubernetes Service (Amazon EKS) と Slurm の両オーケストレーターで実行されるトレーニングワークロード向けの診断およびプロファイリング機能を統合します。
診断サマリーは、Amazon CloudWatch の DetectGroupOutliers API を使用して、トレーニングジョブ内の各 GPU を利用率、メモリ、温度、電力、SM クロックの観点で比較し、ピアから逸脱した GPU をフラグします。静的診断ルールは、GPU ハードウェア障害(XID エラー、ECC メモリエラー)、EFA スループット低下、熱スロットリング、過熱などの一般的な障害パターンを表面化し、トレーニングに影響が出る前に劣化を捕捉します。
分散トレーニングは高価であり、小さな非効率が積み重なって大幅な GPU 時間の浪費になります。これまで、HyperPod インフラストラクチャの可視性を得るには別々のツールを組み合わせる必要があり、たとえメトリクスがあっても、パフォーマンスが低下したことはわかっても理由はわかりませんでした。強化された可観測性は3つのギャップを埋めます。XID エラー、ECC メモリ故障、熱スロットリングのいずれであっても、数百または数千の GPU の中から1台の不良アクセラレータを特定し、検索ではなく修正に時間を費やせるようにします。これらの機能は共にトラブルシューティング時間を短縮し、高価なアクセラレータを稼働し続けるのに役立ちます。
各機能は分散トレーニングジョブの異なる層を対象としています。強化された可観測性は2つのレベルでテレメトリを収集します。デフォルトメトリクスは自動的に有効になり、クラスタの健全性、CPU/ディスク/OS レベルの使用率、GPU 使用率と温度、ジョブごとのリソース使用率をカバーします。これらのメトリクスは30秒ごとに収集され、選択したメトリクスストアに送信され、CPU オーバーヘッドは約1〜2%、メモリは約250〜300 MBです。アドバンストメトリクスはオプトインで、より深い可視性を提供します。完全なノードエクスポータースイート、すべての NVIDIA GPU DCGM および AWS Neuron メトリクス(クロック速度、電力、PCIe アクティビティ、エラーインジケーターを含む)、および Elastic Fabric Adapter (EFA) メトリクス(ネットワークインターフェイスのスループット、ドロップ、再送信、エラー)が含まれます。アドバンストメトリクスがオプションである理由は、メトリクスストアに送信されるテレメトリの量が増え、コストに影響するためです。小規模クラスタで小規模ジョブを実行するほとんどの顧客には不要かもしれませんが、パターンが時間とともに現れる大規模クラスタでの長時間トレーニングジョブには不可欠です。
メトリクスストアは、Amazon CloudWatch(新しいデフォルト)または Amazon Managed Service for Prometheus から選択できます。CloudWatch は CloudWatch SageMaker Insights を通じたネイティブモニタリングを提供し、AWS マネジメントコンソールを離れることなくメトリクスを可視化できます。また、Amazon Managed Service for Prometheus より低価格で、SageMaker コンソールとの統合も緊密です。以前は Prometheus のみがサポートされていました。
診断サマリーは、HyperPod クラスタ全体の問題を表面化するために2つの補完的なアプローチを使用します。GPU 外れ値検出は CloudWatch の DetectGroupOutliers API を使用し、トレーニングジョブ内の GPU を利用率、メモリ使用量、温度、消費電力、SM クロック周波数で比較します。GPU がピアから大幅に逸脱すると、診断サマリーに外れ値カードとして表示されます。これは EKS と Slurm の両方のジョブで機能します。静的診断ルールは既知の障害パターンを評価し、検出された問題をタイプ別に整理します。ハードウェア(GPU ECC メモリエラー、XID 障害、アクセラレータ障害)、ネットワーク(EFA スループット劣化、パケットドロップ、再送信)、スロットリング(熱、ボード、信頼性制限による GPU クロックのスロットリング)、過熱(構成された制限を超える GPU 温度)です。検出された各問題は、影響を受けるジョブ、クラスタ、ノード、アクセラレータ、ランクを特定します。
強化された可観測性は、EKS オーケストレーションクラスタ向けのアドオンおよび Slurm オーケストレーションクラスタ向けの拡張として提供されるため、AWS Identity and Access Management (IAM) を通じて誰がインストールまたは変更できるかを制御できます。
開始するには、SageMaker HyperPod クラスタを作成するか既存のクラスタを使用し、カスタムセットアップワークフローで HyperPod 可観測性を構成します。カスタムセットアップワークフローで HyperPod observability セクションを展開します。「Enable HyperPod Observability」はデフォルトでチェックされています。可観測性メトリクスにはデフォルトメトリクスとオプションのアドバンストメトリクスが表示されます。必要に応じてアドバンストメトリクス(完全なノードエクスポータースイート、すべての NVIDIA GPU DCGM/Neuron メトリクス、EFA メトリクス)を選択します。ロギングを有効にしてコンテナと Pod ログの CloudWatch ロググループを作成します。メトリクスストアには Amazon CloudWatch(デフォルト)または Amazon Managed Service for Prometheus を選択します。Grafana ワークスペースは新規作成、既存の使用、なしから選択します。IAM ロールを構成するか、コンソールに自動作成させます。クイックセットアップでは HyperPod 可観測性はデフォルトで有効になり、チェックを外せません。カスタムセットアップでは、有効にするメトリクスカテゴリとアドバンストメトリクスを制御できます。
EKS クラスタでは、AWS CLI を使用して可観測性アドオンをインストールすることもできます。次のコマンドはアドオンを作成し、基本メトリクスカテゴリを有効にし、オプトインのプロファイリング機能をオフにします。
aws eks create-addon \ --cluster-name <cluster-name> \ --addon-name amazon-sagemaker-hyperpod-observability \ --region <region> \ --configuration-values '{ "metricsDestination": "cloudwatch", "metricsProvider": { "nodeMetrics": {"level": "BASIC", "scrapeInterval": 30}, "acceleratedComputeMetrics": {"level": "BASIC", "scrapeInterval": 30} }, "profilesProvider": { "hostProfiling": {"enabled": false} } }'
アドオンが ACTIVE であることを確認します。
aws eks describe-addon \ --cluster-name <cluster-name> \ --addon-name amazon-sagemaker-hyperpod-observability \ --region <region> \ --query 'addon.status'
メトリクスカテゴリやプロファイリング機能はいつでも有効または無効にできます。EKS クラスタの場合、AWS CLI でアドオン構成を更新します。次のコマンドはアドバンストネットワーク(EFA)メトリクスをオンにします。
aws eks update-addon \ --cluster-name <cluster-name> \ --addon-name amazon-sagemaker-hyperpod-observability \ --region <region> \ --configuration-values '{ "metricsDestination": "cloudwatch", "metricsProvider": { "nodeMetrics": {"level": "BASIC", "scrapeInterval": 30}, "acceleratedComputeMetrics": {"level": "BASIC", "scrapeInterval": 30}, "networkMetrics": {"level": "ADVANCED", "scrapeInterval": 30} } }'
コンソールでは、アドオンカードの「アクション」から「編集」を選択して同じ変更を行えます。
Slurm クラスタでは、HyperPod 可観測性はクラスタ拡張です。クラスタ詳細ページから「拡張」タブを開きます。拡張がインストールされている場合は、「アクション」から「編集」を選択します。編集ページでは各メトリクスカテゴリの収集レベルを設定します。AWS CLI で拡張をインストールするには、次のコマンドを使用します。
aws sagemaker create-cluster-extension \ --cluster-arn <cluster-arn> \ --extension-name sagemaker-observability \ --region <region> \ --configuration-values '{ "metricsProvider": { "clusterMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30}, "nodeMetrics": {"level": "BASIC", "collectionIntervalSeconds": 30}, "acceleratedComputeMetrics": {"level": "BASIC", "collectionIntervalSeconds": 30}, "jobMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30} }, "profilesProvider": {"hostProfiling": {"enabled": false}} }'
EFA メトリクスを有効にするには、拡張を更新します。
aws sagemaker update-cluster-extension \ --cluster-arn <cluster-arn> \ --extension-arn <extension-arn> \ --region <region> \ --configuration-values '{ "metricsProvider": { "clusterMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30}, "nodeMetrics": {"level": "ADVANCED", "collectionIntervalSeconds": 30}, "acceleratedComputeMetrics": {"level": "ADVANCED", "collectionIntervalSeconds": 30}, "networkMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30}, "jobMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30} } }'
ステータスは aws sagemaker describe-cluster-extension コマンドで確認します。
クラスタの準備ができたら、クラスタ詳細ページに移動します。新しい「可観測性」タブには、ノード総数(例:128)、アクセラレータ総数(例:1024)、アクティブおよび最近のトレーニングジョブ数、平均 GPU 使用率(例:87.3%)、平均 vCPU 使用率(例:76.8%)、平均メモリ使用率(例:83.5%)を含む概要が表示されます。「可観測性」タブから「ダッシュボードを開く」を選択すると、CloudWatch SageMaker Insights エクスペリエンスに移動します。ダッシュボードは複数のビューを提供し、その中の「診断サマリー」は HyperPod クラスタ全体で検出されたインシデントを表示し、ハードウェア障害、ネットワーク問題、スロットリング、過熱のいずれであっても根本原因を正確に特定できます。インシデントカードを選択すると詳細が表示され、各カードには影響を受けるジョブ、クラスタ、アクセラレータ、ランクが示されます。