サイレントデータ破損(Silent Data Corruption、SDC)とは、GPU などのハードウェアがエラーを発生させずに、誤っているがもっともらしい数値を返す現象です。分散トレーニングでは、その誤った数値が各レプリカの勾配と重みに流れ込みます。損失は何時間も正常に見え、チームが説明のつかない発散やモデル性能の低下に気づく頃には、計算資源はすでに消費されています。Meta は 54 日間の Llama 3 405B 事前トレーニング(最大 16K 基の H100 GPU を使用)において、419 件の予期しないジョブ中断のうち 6 件を SDC に起因すると特定しました。しかもこれは、ジョブを中断し SDC と追跡できたケースに限られます。
Amazon SageMaker HyperPod は、故障を報告するノードをすでに交換できます。ヘルスモニタリングエージェントが GPU エラーを監視し、深層ヘルスチェックがノードに負荷テストをかけ、自動ノード復旧が不良ハードウェアを交換します。しかし SDC はこれらすべてをすり抜けます。ハードウェアが何も報告しないからです。検出はトレーニングジョブ自体から行う必要があります。
本記事では、PyTorch DistributedDataParallel(DDP)トレーニングループに 3 つのチェックを追加して SDC を検出します。チェックが発火したら、疑わしいランクをノードにマッピングし、破損を封じ込め、SageMaker HyperPod にノードを交換させます。各チェックは、故障が発生しうる異なる場所をカバーします。
- 非有限勾配チェック:GPU の順伝播または逆伝播で発生した NaN、Inf、オーバーフローをそのステップで捕捉し、勾配 all-reduce がもたらす NaN や Inf も捕捉します。
- リングリプレイ監査:有限の誤った値を捕捉します。監査ステップでは、各 GPU が別ノードのマイクロバッチを再計算し、損失をビット単位で比較し、勾配をフィンガープリントで比較します。
- 重みフィンガープリント比較:更新後に各レプリカの重みを比較し、オプティマイザステップと保存重みの破損を捕捉します。
これらのチェックは、4 台の ml.p5.48xlarge インスタンス(32 基の NVIDIA H100 GPU)を持つ SageMaker HyperPod クラスタでソフトウェア注入故障を用いてテストし、チェックに必要な最小構成である 3 台のインスタンスでも各テストを繰り返しました。ソリューションの完全なコードは付属の GitHub リポジトリで公開されています。
SDC の発生原因と一般的なチェックが失敗する理由
SDC は、製造上の欠陥(ベンダーのスクリーニングをすり抜けた限界トランジスタ)と、特定の計算ユニットにおけるシリコンの経年劣化に由来します。最も多いのはテンソルコア内の積和演算レーンで、これはまさにモデルトレーニングが酷使するハードウェアです。限界回路はほとんどの場合正しく計算し、高温、電圧降下、特定のオペランドパターンといった負荷時のみ誤ります。演算論理パスにはメモリと異なり ECC やパリティがないため、誤った結果(例:4.0000 ではなく 4.0001)は決してフラグされず、活性化と勾配を通じて各レプリカの重みに流れ込みます。
捕捉が難しい理由は、SDC が計算パスに存在し、既存の整合性チェックがそれぞれ異なる境界を守っているからです。ECC はメモリを守り、メモリ内のビット反転は捕捉しますが、誤った演算は捕捉しません。テンソルコアの結果に ECC はありません。Xid エラーは GPU が故障を検出したときに発生するため、定義上何も発生しない SDC ではログに残りません。DCGM 深層ヘルスチェックはアイドル状態のノードでジョブ外で実行され、ワークロードのオペランド、熱状態、タイミングを必要とする欠陥を見逃します。NVLink/PCIe/EFA チェックサムは転送を検証するもので、計算の正確性は検証しません。チェックポイントチェックサムは保存と読み込みの往復を検証するだけで、汚染されていても一貫したチェックポイントは正常と判定されます。SDC を捕捉するには、計算結果そのものを検査する必要があります。
ソリューション概要
ループは 4 つのステップで構成されます。トレーニングジョブが最初の 2 つを実行し、後の 2 つは Kubernetes と SageMaker HyperPod の機能を使用します。
- 検出:トレーニングループ内の 3 つのチェックが、データ並列レプリカを比較して疑わしい GPU を特定します。
- 特定:Amazon EKS でオーケストレーションされた HyperPod クラスタでは、Kubernetes ノード名にインスタンス ID が含まれるため、疑わしいランクをノードにマッピングするのは単なる検索です。
- 封じ込めと相関:ジョブを停止し、ノードをコルドンし、HyperPod 可観測性ダッシュボードでその GPU メトリクスを確認します。
- 確認と復旧:アラームが曖昧な場合に確認し、レビュー後にノードを交換し、疑わしい期間より前に保存したチェックポイントから再開します。
ループをレイヤーとして捉えると理解しやすくなります。
- レイヤー 1:非有限勾配チェック(トレーニングスクリプト)— ローカル勾配が NaN または Inf の GPU を特定し、all-reduce 後、更新前に縮約勾配をチェックします。NaN、Inf、オーバーフローになる故障のみ捕捉します。
- レイヤー 2:リングリプレイ監査(トレーニングスクリプト)— 各 GPU が別ノードのマイクロバッチを再計算し、損失ビットと勾配フィンガープリントを比較します。監査ステップで損失や勾配を変える有限の計算パス故障を捕捉します。
- レイヤー 3:重みフィンガープリント比較(トレーニングスクリプト)— 更新後、厳密多数決と異なるレプリカを特定します。単一コピー上のオプティマイザステップと保存重みの故障を捕捉しますが、計算パス故障とシャード重みには無力です。
- レイヤー 4:特定(トレーニングスクリプト、HyperPod ノード名を使用)— 疑わしいランクをインスタンス ID にマッピングします。
- レイヤー 5:DCGM 相関(HyperPod 可観測性アドオン)— アラーム前後の疑わしい GPU の DCGM メトリクスを確認します。ハードウェアカウンタにも故障が現れる場合のみ確認でき、クリーンなテレメトリはノードの健全性を証明しません。
- レイヤー 6:深層ヘルスチェック(StartClusterHealthCheck、DCGM L4)— 疑わしいノードでオンデマンドのハードウェア診断を実行します。テストパターンが引き起こすハードウェア欠陥を捕捉しますが、トリアージであり証明ではありません。
- レイヤー 7:再発履歴 — 保持されたアラームとテレメトリに対するクエリで、繰り返しアラームを出すノードを浮かび上がらせます。
サイレント SDC を検出できるのはレイヤー 1〜3 のみで、これらはトレーニングコード内にあります。レイヤー 4 はアラームをインスタンス ID に変換し、HyperPod の各レイヤーがアラームを裏付け、ループを閉じます。
前提条件
フォローするには以下が必要です。
- Amazon EKS でオーケストレーションされ、少なくとも 3 つの GPU ノードを持つ SageMaker HyperPod クラスタ。リング監査は比較ごとに 3 つの異なるノードを必要とし、重み比較は各重みの 3 つのコピーを必要とします。
- 各レプリカが独自のオプティマイザステップを実行する PyTorch DDP トレーニングジョブ。データパイプラインは、シード付きサンプラーなどにより、任意のステップで任意のランクのマイクロバッチを再構築できる必要があります。
- Amazon FSx for Lustre や Amazon S3 などの共有ストレージ上のチェックポイント。ノード交換はルートボリュームとセカンダリボリュームを破壊し、ローカル NVMe 上のデータも失われます。
- 相関ステップ用の SageMaker HyperPod 可観測性アドオン。ECC、NVLink、スロットリングカウンタが必要な場合は高度な DCGM メトリクスを有効にします。
- kubectl によるクラスタへのアクセスと、sagemaker:StartClusterHealthCheck および sagemaker:BatchReplaceClusterNodes の IAM 権限。
ステップ 1:トレーニングループ内の 3 つのチェックで検出
データ並列はモデルの複数のコピー(レプリカ)を同時にトレーニングします。各レプリカはバッチの異なるスライスでトレーニングします。各逆伝播後、all-reduce がレプリカの勾配を平均し、すべてのレプリカが optimizer.step() で同じ平均を適用します。学習率 0.1 で 3 つのレプリカにまたがる 1 つの重みを例に取ります。開始時の重みはすべて 0.500、ローカル勾配はそれぞれ 0.20、0.40、0.30(データが異なるため異なる)、all-reduce 後の平均勾配はすべて 0.30、ステップ後の重みはすべて 0.470 です。ローカル勾配は異なりますが、オプティマイザステップ後の重みはビット単位で同一でなければなりません。
故障がどこに落ちるかで、どのチェックが見えるかが決まります。レプリカ 1 がローカル勾配を 0.40 ではなく 4.00 と計算した場合、all-reduce がその誤りをすべてのレプリカに広げ、3 つとも同じ誤った更新を適用するため重みは依然として一致します。異なって見えたのはレプリカ 1 のローカル勾配だけで、しかも all-reduce 前のみです。逆にレプリカ 1 がオプティマイザステップ中または後に重みを破損した場合、その重みは他と一致しなくなります。例外として、1 つのレプリカの重みの NaN または Inf は次の all-reduce で全レプリカに伝わり、その後は再び一致します。all-reduce 自体の故障(GPU が部分和を誤って加算するなど)も同様に全レプリカに伝わります。
したがって、計算パス故障はオプティマイザステップ前に、悪い勾配をまだ破棄できるうちに捕捉する必要があり、更新または保存重みの故障はその後に捕捉します。有限の誤った値には再計算が必要です。レプリカ間の勾配ノルム比較では NaN と Inf しか捕捉できません。そこで、各トレーニングステップ内で固定順序で各 DP ランクに 3 つのチェックを実行します。
- 非有限勾配チェック — all-reduce 前に、ローカル勾配が NaN または Inf のランクをフラグします。これにより、GPU の順伝播または逆伝播で値が爆発したステップでそれを捕捉し、GPU を特定します。all-reduce 後、更新前に縮約勾配が NaN または Inf でないかもチェックします。
- リングリプレイ監査 — 監査ステップでは、オプティマイザステップ前に、各ランクが別ノードのランクのマイクロバッチを再計算します。損失をビット単位で比較し、決定論的カーネルでは各パラメータの勾配フィンガープリントも比較します。これにより計算パス内の有限の誤った値を捕捉します。
- 重みフィンガープリント比較 — オプティマイザステップ後、N ステップごとおよび各チェックポイント前に、各レプリカの重みフィンガープリントを比較します。これによりオプティマイザステップと保存重みの故障を捕捉します。
ステップ 1 のコードは PyTorch DDP 用です。テンソル並列、パイプライン並列、コンテキスト並列については「Beyond DDP」を参照してください。
実行順序:1 つのトレーニングステップでは、チェック 1(all-reduce 前後の NaN/Inf 勾配)とチェック 2(監査ステップのリングリプレイ)がオプティマイザステップ前に実行され、発火するとステップを停止します。チェック 3(重みフィンガープリント)はその後に実行され、チェックポイントをブロックします。
なぜローカル勾配ノルムを比較しないのか
最初に自然に考えた設計は、ローカル勾配ノルムがそのステップの中央値から k 中位絶対偏差(MAD)を超えて外れるランクをフラグするものでした。32 基の H100 で 9 億 5300 万パラメータのモデルをトレーニングし、4 台のインスタンスでの 3 回の無故障実行(22,800 ステップ)の各ステップで各ランクのローカル勾配ノルムを記録したところ、このテストは機能しませんでした。健全な分布が広すぎるのです。各ランクは異なるデータを見るため、健全なローカルノルムは最初の 800 ステップで既に 224 MAD に達し、全健全ステップでは 1,240 MAD に達しました。静かな閾値では有限故障を捉えられません。k=336(最初の 800 健全ステップの最高スコアの 1.5 倍)では、残り 22,000 健全ステップで 11 回の誤警報が発生し、有限故障のスコアは 6.9 を超えませんでした。1 つの活性化を 10,000 倍にしても同様です。
フィンガープリントによる比較
チェック 2 と 3 は GPU 間でテンソルを比較します。テンソル全体を送信するのはコストが高すぎるため、各テンソルはフィンガープリントに縮約されます。生のビットパターンの 2 つの 64 ビット和で、1 つはプレーン、もう 1 つは位置で重み付けされます。要素数が 2³² 未満で各要素が最大 4 バイトのテンソルでは、1 つまたは 2 つの要素を変更するとフィンガープリントが変わります。これは注入したすべての重み故障をカバーします。より大きな変更は原則として……(原文は途中で切れています)