大規模なトレーニングジョブは、すべてのノードが正常に見えても失敗することがあります。微妙な障害を持つ GPU はストレステストに合格しても誤った値を返す可能性があります。NCCL タイムアウトでジョブがストールすると、GPU を保持したまま Slurm 上では実行中と表示され続けます。あるノードでデバイスプラグインがクラッシュすると、ジョブはプラグインに言及しないエラーで失敗します。チームは通常、損失が発散するかジョブが失敗した後に初めてこれらの問題を発見し、その時点で計算リソースは無駄に消費されています。これらの障害はそれぞれ、クラスタ時間のうち有用なトレーニングに費やされる割合であるグッドプットを低下させます。本日、Amazon SageMaker HyperPod にワークロードリカバリとインフラストラクチャチェックを導入し、これらの障害を早期に検出してトレーニングワークロードのグッドプットを向上させることを発表します。
SageMaker HyperPod は既にハードウェア障害を報告するノードを処理しています。ヘルスモニタリングエージェント(HMA)は各ノードの GPU エラーを監視し、ディープヘルスチェックはプロビジョニング中にノードをテストし、自動ノードリカバリは障害のあるハードウェアを再起動または交換します。これらの機能は一度に1つのノードのハードウェアを調べます。GPU が正しくトレーニングしているか、ジョブが進行しているか、ジョブが依存する Kubernetes コンポーネントが動作しているかを判断することはできません。
この記事では、これらの障害を検出する3つの新機能について説明します。それぞれの設定方法と、問題を発見したときに報告される内容を示します。
MultiNodeTrainingValidation は、Amazon Elastic Kubernetes Service(Amazon EKS)でオーケストレーションされた HyperPod クラスタ向けの新しいディープヘルスチェックです。HyperPod がインスタンスをプロビジョニングするとき、またはオンデマンドでチェックを実行するときに、インスタンス上で小さなモデルをトレーニングし、次に同じタイプのインスタンス間でトレーニングします。損失が NaN または無限大になった場合、またはトレーニングが時間内に終了しない場合、インスタンスは失敗します。
HyperPod Kubernetes リソースモニタリングエージェントは、EKS クラスタの Kubernetes レイヤーを監視し、クラッシュループするデバイスプラグイン、欠落した DaemonSet、テイントされたノードなどの問題を検出します。ジョブが失敗すると、関与する Pod とノードを Kubernetes イベントおよび Amazon CloudWatch ログとして報告します。
ハングジョブ検出は、進行を停止した Slurm ジョブを検出します。各ノード上のエージェントがジョブの出力と GPU アクティビティ、またはユーザーが定義したログパターンを監視します。CloudWatch にイベントを書き込み、ジョブをキャンセルして Slurm が再キューイングできるようにします。
なぜノードのヘルスだけでは不十分なのか
既存の HyperPod レジリエンシ機能は一度に1つのノードをチェックします。HMA は Xid や NVLink 障害、Elastic Fabric Adapter(EFA)エラー、カーネルエラーなど、各ノードの GPU エラーを監視します。InstanceStress ディープヘルスチェックは DCGM レベル4診断を実行し、各インスタンスの GPU、GPU メモリ、NVLink、EFA デバイスをテストします。InstanceConnectivity チェックは GPU インスタンス間で NCCL テストを実行するか、AWS Trainium で NCCOM テストを実行します。これらを組み合わせることで、各ノードのハードウェアが動作することが確認されます。しかし、GPU が正しく計算しているか、ジョブが進行しているか、クラスタの Kubernetes コンポーネントが正常かは示されません。3種類の障害がこれらをすり抜けます。
数値障害 – GPU はすべてのハードウェアテストに合格しても誤った結果を計算する可能性があります。最初の兆候は、多くの場合、本番実行での NaN または無限大の損失です。Meta は、54日間の Llama 3 405B 事前トレーニング実行における419件の予期しない中断のうち6件をサイレントデータ破損に帰因させました(The Llama 3 Herd of Models)。
ハングジョブ – NCCL タイムアウト、ストールしたデータパイプライン、デッドロックは、ジョブを終了させずに停止させる可能性があります。ジョブは GPU とそのメモリを保持し、Slurm は誰かが損失曲線やログを確認するまで実行中として報告します。
クラスタレベルの障害 – 一部の障害はノードのハードウェアではなく Kubernetes で発生します。デバイスプラグインがクラッシュループしたり、必要な DaemonSet が新しいノードで起動しなかったり、異なるノードのランクが NCCL コレクティブで同期を失ったりします。HMA は各ノードを個別にチェックするため、これらの問題を検出できません。ジョブが失敗すると、エラーはどの Pod またはノードが原因かを示さないことがよくあります。
ソリューションの概要
各機能はトレーニング実行の異なるポイントをカバーします。MultiNodeTrainingValidation はインスタンスのプロビジョニング時またはオンデマンドで実行され、GPU が正しくトレーニングすることを確認します。ハングジョブ検出は各 Slurm ジョブと並行して実行され、進行を停止したジョブを検出します。HyperPod Kubernetes リソースモニタリングエージェントはクラスタを継続的に監視し、ジョブが失敗すると関与した Pod とノードを報告します。次の表に3つをまとめます。
機能 | 検出対象 | 実行タイミング | 利用可能な環境 MultiNodeTrainingValidation ディープヘルスチェック | ハードウェアチェックに合格した GPU での NaN または無限大の損失、時間内に終了しないトレーニング | インスタンスの作成または更新時、またはオンデマンド | EKS クラスタ、サポートされている EFA 対応 NVIDIA GPU インスタンス HyperPod Kubernetes リソースモニタリングエージェント | ノード状態の変化、Pod と DaemonSet の障害、失敗したトレーニングジョブ(関与する Pod とノードを含む)。オプトインしたジョブの NCCL 通信状態 | 継続的 | EKS クラスタ ハングジョブ検出 | 進行を停止したが終了しないジョブ | 各ジョブの実行中 | Slurm クラスタ
ハングジョブ検出は Slurm クラスタ向けの新機能です。EKS クラスタでは、HyperPod は既に HyperPod トレーニングオペレータを介して実行されるハングジョブを検出し、Ray Train ジョブはデフォルトでハング検出を取得します。両方のオプションについてはハングジョブ検出のセクションで説明します。
各機能はグッドプット損失の異なるソースを対象としています。スケジューリンググッドプットは、ジョブが必要とするすべてのリソースが利用可能な時間の割合です。ランタイムグッドプットは、その時間のうちジョブが前進する時間の割合です。プログラムグッドプットは、ハードウェアのピーク性能のうちジョブが得る割合です。次の表に各機能の効果を示します。
機能 | スケジューリンググッドプット | ランタイムグッドプット | プログラムグッドプット MultiNodeTrainingValidation | トレーニングテストに失敗したインスタンスはラベル付けされ、自動ノードリカバリにより交換されるため、無効な出力を生成するハードウェアでジョブが開始されない | 障害のある GPU による NaN または無限大の損失で失われる本番実行が減少 | 時間制限内にトレーニングが終了しないインスタンスにフラグを立てる HyperPod Kubernetes リソースモニタリングエージェント | GPU や EFA デバイスを失ったノード、欠落したデバイスプラグイン、テイントを報告し、容量を早期に復元できる | 失敗したジョブの背後にある Pod とノードを特定し、原因を早く見つけて再起動できる | 直接的な効果なし ハングジョブ検出 | 直接的な効果なし | ハングジョブを数時間ではなく数分で検出し、キャンセルして Slurm が再キューイングできる | 直接的な効果なし
32台の ml.p5.48xlarge インスタンス(256基の NVIDIA H100 GPU)で実行される事前トレーニングジョブを考えてみましょう。ジョブが午前1時にハングし、誰も午前9時まで気づかなかった場合、256インスタンス時間または2,048 GPU時間を無駄にします。米国東部(バージニア北部)の SageMaker HyperPod オンデマンド価格は1インスタンス時間あたり約66ドルなので、ハングのコストは約16,900ドルです。15分のハングジョブ検出ルールを使用すると、HyperPod はストールしたジョブをキャンセルし、Slurm が再キューイングします。ハングのコストは約530ドルになり、約16,400ドルを節約できます。
MultiNodeTrainingValidation ディープヘルスチェックでトレーニングの正確性を検証する
MultiNodeTrainingValidation ディープヘルスチェックは、固定された既知の良好なワークロードを、まず各インスタンスで、次にインスタンス間でトレーニングします。InstanceStress と InstanceConnectivity に合格しても、一緒にトレーニングすると NaN または無限大の損失を生成する GPU を検出します。インスタンスが失敗すると、HyperPod はそれを失敗としてラベル付けし、自動ノードリカバリが有効な場合は再起動または交換します。チェックがプロビジョニング中に実行される場合、これはジョブがインスタンスを使用する前に発生します。
仕組み
MultiNodeTrainingValidation はディープヘルスチェック実行に2つのテストを追加します。
Tiny Megatron テスト:各インスタンスのすべての GPU で短い Megatron-LM トレーニングを実行します。
Megatron テスト:同じタイプのインスタンス間で、EFA を介して通信しながら同じワークロードを実行します。
いずれかのテストで、トレーニング損失が NaN または無限大になった場合、またはトレーニングが時間制限内に終了しない場合、インスタンスは失敗します。ワークロードは固定されているため、失敗はモデルやコードの変更ではなくハードウェアを指します。
次の表に、他のディープヘルスチェックとの関係を示します。
チェック | 実行内容 | 検出対象 InstanceStress | GPU と NVLink の数、DCGM レベル4診断、EFA レイテンシと帯域幅テスト(Trainium では Neuron テスト) | 欠落、故障、不安定なハードウェア InstanceConnectivity | GPU インスタンス間の NCCL テスト(Trainium では NCCOM) | インスタンス間の遅いまたは壊れた通信 MultiNodeTrainingValidation | 各インスタンスでの Tiny Megatron テスト、インスタンス間の Megatron テスト | 実行するが正しくトレーニングしない GPU:NaN または無限大の損失、または時間内に終了しないトレーニング
前提条件
以下が必要です。
Amazon EKS でオーケストレーションされた Amazon SageMaker HyperPod クラスタ。
サポートされている EFA 対応 NVIDIA GPU インスタンスタイプ(ml.p5.48xlarge など)のインスタンスグループ。Megatron テストは同じタイプのインスタンス間で実行されます。
インスタンスグループの MultiNodeTrainingValidation を有効にする
HyperPod はインスタンスの作成または更新時にディープヘルスチェックを実行します。MultiNodeTrainingValidation を含めるには、create-cluster または update-cluster に渡すインスタンスグループ設定の OnStartDeepHealthChecks に追加します。ここでは3つのチェックすべてを有効にしました。
(JSON 設定例)
設定を確認するには、次のコマンドを実行します。
aws sagemaker describe-cluster ...
出力に3つのチェックが表示されます。
MultiNodeTrainingValidation をオンデマンドで実行する
既にクラスタ内にあるインスタンスをチェックすることもできます。たとえば、長時間の事前トレーニング実行の前などです。StartClusterHealthCheck API を使用します。
aws sagemaker start-cluster-health-check ...
インスタンスグループ全体ではなく特定のインスタンスをチェックするには、構成に "InstanceIds": [...] を追加します。
結果を確認する
HyperPod は、クラスタの CloudWatch ロググループ /aws/sagemaker/Clusters/<cluster-name>/ の DeepHealthCheckResults/ ログストリームにテストごとに1行書き込みます。以下は、2台の ml.p5.48xlarge インスタンスでの実行からのストリームです。TINY_MEGATRON と MEGATRON は MultiNodeTrainingValidation の2つのテストです。
(ログ例)
実行が終了すると、各インスタンスは結果をノードラベルとして保持します。
kubectl get nodes ...
(ノードラベル例)