Astera轻声细语，手握巨剑

Astera Labs在周二推出了一款替代Nvidia NVSwitch的AI系统机架级交换机，声称其几乎可兼容任何加速器。这款名为Scorpio X的AI结构芯片将320条PCIe 6.0通道集成到单个ASIC中，提供5.12 TB/s的双向带宽。

历史上，PCIe交换机已广泛应用于多种场景，包括横向扩展计算结构。单独的CPU无法提供足够或足够快的通道来连接所有GPU、NIC和存储设备，因此常通过内置在NIC中的PCIe交换机连接所有组件。Astera认为，只要交换机足够大，PCIe可以成为NVLink等互连技术的可行替代方案，用于将数十个或更多GPU组合成单个大型GPU的纵向扩展结构，而无需重新设计加速器。

然而，Astera并非仅仅构建了更大的PCIe交换机。Scorpio配备了与Nvidia NVSwitch相同的许多网络内计算能力，有助于加速集合通信。这些通信对于生成式AI推理尤为重要。随着混合专家（MoE）架构的流行，大型语言模型在网络方面变得非常“健谈”。MoE模型由多个称为专家的子模型组成，对于每个生成的token，可能使用不同的专家组合（可能运行在不同GPU上）。通过将集合通信移至交换机，GPU减少了等待网络的时间，从而能生成更多token。

Astera甚至开发了一种针对MoE推理优化的多播操作，称为Hypercast。Astera产品管理副总裁Ahmad Danesh向《The Register》表示：“标准多播的局限性之一是能支持的组数有限，以及对于MoE模型需要动态更改这些组。”

虽然使用PCIe作为芯片间互连有明确的优势，但Scorpio并非直接替代Nvidia的NVSwitch芯片。今年1月在CES上发布的NVSwitch 6提供近3倍的带宽（14.4 TB/s）。然而，Astera无需直接与NVSwitch竞争；实际上，Astera去年春天宣布计划扩展对Nvidia开放高速互连的NVLink Fusion的支持。相反，Scorpio定位为供应商中立的替代方案。NVLink Fusion或新兴的UALink协议正在获得关注，但芯片需要围绕它们设计。而PCIe几乎兼容所有设备，因为它已用于加速器的数据进出。例如，若想组合32个或更多Nvidia RTX Pro 6000服务器卡，需要PCIe交换机，因为这些GPU完全不支持NVLink。

PCIe还使得解聚推理架构中混合不同芯片更容易，正如Nvidia与Groq、AWS与Cerebras、Intel与SambaNova等合作所示。这些架构使用一个加速器进行计算密集的预填充操作，另一个用于带宽密集的解码操作，芯片之间必须互联。许多AI芯片厂商通过以太网实现，但PCIe更直接。

除Scorpio X系列芯片外，Astera还扩展了Scorpio P系列交换机，型号从32到320条PCIe通道不等。所有这些交换机均兼容其COSMOS管理套件，该硬件监控平台旨在帮助追踪和解决网络结构中的问题。Astera更新的Scorpio交换机现已提供样品，预计2026年下半年量产。