AIモデルのトレーニングでは、数千のGPUが協調して動作する必要があり、高速で効率的、かつ耐障害性の高いネットワークが不可欠です。Lambdaはこのネットワーク部分をNVIDIA Photonicsの共パッケージ光学(CPO)スイッチで解決しています。このクラウドプロバイダーは、1万以上のGPUを搭載したNVIDIA GB300 NVL72ラックを接続するために同スイッチを採用し、大規模AIファクトリーに低消費電力、高い耐障害性、長い平均中断間隔(MTBI)をもたらしています。
Lambdaのクラウドサービス部門社長であるDave Ward氏は、「ネットワークはますます大規模化するAIクラスターの要求に追いつく必要がある」と述べています。「この規模の展開に共パッケージ光学を導入することは、次世代AIを支えるインフラ構築に向けた重要な一歩です。」
同社のスイッチを用いたテストでは、ネットワーク遅延(データ転送に要する時間)がラックスケールで約4%、ポッドスケールで最大約10%低減しました。ラック、スケーラブルユニット、ポッドの各構成で、ネットワークは従来のプラガブル光学と同等のスループットを維持しています。
電力効率と耐障害性の向上が重要なのは、ネットワークがAIファクトリーの生産性の中心にあるからです。大規模なトレーニングジョブでは、1つのリンクの中断が数千のGPUを停止させる可能性があります。エージェント推論では、1つのネットワーク障害が多くのエージェントに連鎖的な遅延効果を引き起こす可能性があります。中断のたびに時間が失われ、ネットワークに費やされる電力はコンピューティングに使用できない電力となります。
NVIDIA Photonicsは電力効率と耐障害性の両方に対処します。プラガブルトランシーバーをスイッチパッケージ上の共パッケージ光エンジンに置き換えることで、従来のプラガブル光学と比較して最大5倍の電力効率と最大15倍の信頼性を提供します。また、レーザーの使用数が4分の1になり、故障する可能性のあるコンポーネントが減少します。
Lambdaの展開では、各スイッチに144ポート、800Gb/sで動作するNVIDIA Photonicsスイッチを使用しています。液体冷却により、スイッチチップと光エンジンから熱を除去します。同社は、光学部品の温度中央値が36°Cであり、従来のプラガブル光学の51°Cと比較して低いと報告しています。また、テストではより安定した信号品質が確認されています。
NVIDIA Photonicsはまた、電気-光変換をスイッチチップの近くに配置します。各スイッチには18個の取り外し可能な外部光源があり、光エンジンに光を供給します。光エンジンはチップと同じパッケージ上に隣接して配置され、電気信号を光に変換して、クラスターの各部分間でファイバーを介してデータを伝送します。
技術者は光源モジュールを現場で交換できます。従来のプラガブル光学では、レーザーが故障した場合にモジュール全体を交換する必要がありました。共パッケージ化により、電気経路がインチからミリメートルに短縮され、信号損失が低減されます。また、リタイマーチップが不要になり、消費電力と信号経路内の部品数が削減されます。