構建全球最強大AI工廠的競賽,要求網絡基礎設施能夠跟上AI自身的雄心。NVIDIA Spectrum-X以太網擴展架構正站在這場競賽的最前沿,作為當今最先進的AI網絡技術,它已被那些無法在性能、彈性或規模上妥協的行業領導者部署。這些領導者包括OpenAI、微軟和Oracle。
NVIDIA、微軟和OpenAI等公司通過引入多路徑可靠連接(MRC)——一種RDMA傳輸協議,展現了行業領導力。MRC使得單一RDMA連接能夠將流量分佈到多條網絡路徑,從而提升大規模AI訓練架構的吞吐量、負載均衡和可用性。可以將其想象為用巧妙佈局的街道網格系統配合實時交通應用,取代小鎮的單車道公路,使駕駛者能夠繞開擁堵和道路封閉。
“在Blackwell一代部署MRC非常成功,這得益於與NVIDIA的緊密合作,”OpenAI工業計算主管Sachin Katti表示。“MRC的端到端方法使我們能夠避免典型的網絡相關減速和中斷,從而保持前沿訓練運行規模的效率。”此外,微軟和NVIDIA有着長期合作,共同推進下一代AI所需的基礎設施。微軟的Fairwater和甲骨文雲基礎設施的Abilene數據中心——兩個專為訓練和部署前沿LLM而建的全球最大AI工廠——依賴MRC來滿足性能、規模和效率要求。
MRC首先在基於NVIDIA Spectrum-X以太網硬件的生產中驗證了性能優化,隨後作為開放規範通過Open Compute Project發佈,展現了Spectrum-X以太網平台的力量:專用硬件、深度遙測和智能網絡控制協同工作,將新協議從概念變為千億級AI生產。MRC通過在所有可用路徑上負載均衡流量,實現高GPU利用率,即使在擁塞情況下也能動態避開過載路徑維持高帶寬。當發生數據丟失時,智能重傳實現快速精準恢復,最小化短暫中斷對長時間運行任務的影響。管理員可獲得對流量路徑的精細可視化和控制。
部署在Spectrum-X以太網上的MRC針對大規模彈性進行了優化,其故障旁路技術能在微秒級檢測網絡路徑故障並在硬件中自動重新路由。這種技術對於AI訓練集羣至關重要——成千上萬的GPU必須保持同步,即使是短暫的網絡中斷也可能拖慢或中斷整個訓練任務。Spectrum-X通過硬件級響應防止這種情況。另一項關鍵創新是多平面網絡設計,OpenAI結合Spectrum-X和MRC部署了該設計。多平面網絡由多個獨立網絡架構組成,每個平面提供備選通信路徑。Spectrum-X Multiplane能力通過支持跨平面的硬件加速負載均衡,增強了彈性和擴展性,同時保持低延遲並擴展到數十萬GPU。
通過Spectrum-X以太網,客户可以選擇RDMA傳輸模型。Spectrum-X自適應RDMA和MRC協議以及其他自定義協議均原生運行於NVIDIA ConnectX SuperNIC和Spectrum-X交換機,並支持千億級多平面網絡設計。MRC傳輸協議是業界利用Spectrum-X以太網作為靈活、可組合平台的最新例證。隨着AI工廠繼續擴展,網絡必須智能、彈性且基於開放標準。NVIDIA Spectrum-X以太網三者兼備,並通過MRC繼續為先進AI網絡樹立標準。NVIDIA與AMD、Broadcom、英特爾、微軟和OpenAI合作開發了MRC。