NVLink、NVSwitch、そしてそのすべて

NVLinkは、NVIDIAが開発したスケールアップ（垂直拡張）相互接続技術であり、複数のGPUを緊密に結合してあたかも単一の巨大GPUのように動作させることを目的としています。スケールアウトネットワーク（InfiniBandなど）とは異なり、スケールアップアーキテクチャは極めて低レイテンシかつ高帯域幅を追求し、通常は1ラック内に制限されます。

物理層では、高速シリアライザ/デシリアライザ（SerDes）技術をベースとしています。信号は差動ペアで伝送され、初期はNRZ変調（1シンボルあたり1ビット）が用いられましたが、その後PAM4（1シンボルあたり2ビット）に移行し、レートを向上させました。ただしPAM4は信号対雑音比が低下するため、前方誤り訂正（FEC）が必須です。消費電力は重要な制約であり、チップ間相互接続（NVLink-C2C）は1.3 pJ/ビットと低い一方、ボードレベルのNVLinkは約4 pJ/ビット、リタイマや光モジュールを経由するとさらに増加します。そのため、現在のスケールアップドメインは依然としてパッシブ銅ケーブルに依存し、1ラック内に留まっています。

歴史的には、NVLinkは2016年にP100 GPUとともに初登場し、GPUあたり160 GB/sの双方向帯域幅を提供しました。以降、V100（300 GB/s）、A100（600 GB/s）、H100（900 GB/s）、B200（1.8 TB/s）と世代ごとに倍増しています。NVIDIAはNVSwitchチップも導入し、任意のGPUペアがフル帯域幅で通信できるようにするとともに、Hopper世代ではネットワーク内集約（SHARP）機能を追加し、集合通信を高速化しました。2023年のGH200はCPUをドメインに取り込み、Grace CPUとHopper GPUをNVLink-C2Cで接続しました。2024年のGB200 NVL72は、72個のGPUと36個のCPUを18個のNVSwitchと銅製バックプレーンで接続し、130 TB/sの任意対任意帯域幅を実現しています。

将来ロードマップとして、2026年のVera Rubin NVL72は72 GPUのシングルラックを維持しつつ、エコーキャンセレーションによる双方向同時伝送で帯域幅を260 TB/sに倍増します。2027年のRubin Ultra NVL576は初めてラックを超え、576 GPU（8ラック）を銅線と光インターコネクトのハイブリッドで接続します。2028年のFeynmanでは1152 GPUを光バックプレーンで統合する計画です。これらの進歩により、AIトレーニングと推論の性能限界はさらに押し広げられるでしょう。