构建全球最强大AI工厂的竞赛,要求网络基础设施能够跟上AI自身的雄心。NVIDIA Spectrum-X以太网扩展架构正站在这场竞赛的最前沿,作为当今最先进的AI网络技术,它已被那些无法在性能、弹性或规模上妥协的行业领导者部署。这些领导者包括OpenAI、微软和Oracle。
NVIDIA、微软和OpenAI等公司通过引入多路径可靠连接(MRC)——一种RDMA传输协议,展现了行业领导力。MRC使得单一RDMA连接能够将流量分布到多条网络路径,从而提升大规模AI训练架构的吞吐量、负载均衡和可用性。可以将其想象为用巧妙布局的街道网格系统配合实时交通应用,取代小镇的单车道公路,使驾驶者能够绕开拥堵和道路封闭。
“在Blackwell一代部署MRC非常成功,这得益于与NVIDIA的紧密合作,”OpenAI工业计算主管Sachin Katti表示。“MRC的端到端方法使我们能够避免典型的网络相关减速和中断,从而保持前沿训练运行规模的效率。”此外,微软和NVIDIA有着长期合作,共同推进下一代AI所需的基础设施。微软的Fairwater和甲骨文云基础设施的Abilene数据中心——两个专为训练和部署前沿LLM而建的全球最大AI工厂——依赖MRC来满足性能、规模和效率要求。
MRC首先在基于NVIDIA Spectrum-X以太网硬件的生产中验证了性能优化,随后作为开放规范通过Open Compute Project发布,展现了Spectrum-X以太网平台的力量:专用硬件、深度遥测和智能网络控制协同工作,将新协议从概念变为千亿级AI生产。MRC通过在所有可用路径上负载均衡流量,实现高GPU利用率,即使在拥塞情况下也能动态避开过载路径维持高带宽。当发生数据丢失时,智能重传实现快速精准恢复,最小化短暂中断对长时间运行任务的影响。管理员可获得对流量路径的精细可视化和控制。
部署在Spectrum-X以太网上的MRC针对大规模弹性进行了优化,其故障旁路技术能在微秒级检测网络路径故障并在硬件中自动重新路由。这种技术对于AI训练集群至关重要——成千上万的GPU必须保持同步,即使是短暂的网络中断也可能拖慢或中断整个训练任务。Spectrum-X通过硬件级响应防止这种情况。另一项关键创新是多平面网络设计,OpenAI结合Spectrum-X和MRC部署了该设计。多平面网络由多个独立网络架构组成,每个平面提供备选通信路径。Spectrum-X Multiplane能力通过支持跨平面的硬件加速负载均衡,增强了弹性和扩展性,同时保持低延迟并扩展到数十万GPU。
通过Spectrum-X以太网,客户可以选择RDMA传输模型。Spectrum-X自适应RDMA和MRC协议以及其他自定义协议均原生运行于NVIDIA ConnectX SuperNIC和Spectrum-X交换机,并支持千亿级多平面网络设计。MRC传输协议是业界利用Spectrum-X以太网作为灵活、可组合平台的最新例证。随着AI工厂继续扩展,网络必须智能、弹性且基于开放标准。NVIDIA Spectrum-X以太网三者兼备,并通过MRC继续为先进AI网络树立标准。NVIDIA与AMD、Broadcom、英特尔、微软和OpenAI合作开发了MRC。