Astera輕聲細語，手握巨劍

Astera Labs在週二推出了一款替代Nvidia NVSwitch的AI系統機架級交換機，聲稱其幾乎可兼容任何加速器。這款名為Scorpio X的AI結構芯片將320條PCIe 6.0通道集成到單個ASIC中，提供5.12 TB/s的雙向帶寬。

歷史上，PCIe交換機已廣泛應用於多種場景，包括橫向擴展計算結構。單獨的CPU無法提供足夠或足夠快的通道來連接所有GPU、NIC和存儲設備，因此常通過內置在NIC中的PCIe交換機連接所有組件。Astera認為，只要交換機足夠大，PCIe可以成為NVLink等互連技術的可行替代方案，用於將數十個或更多GPU組合成單個大型GPU的縱向擴展結構，而無需重新設計加速器。

然而，Astera並非僅僅構建了更大的PCIe交換機。Scorpio配備了與Nvidia NVSwitch相同的許多網絡內計算能力，有助於加速集合通信。這些通信對於生成式AI推理尤為重要。隨着混合專家（MoE）架構的流行，大型語言模型在網絡方面變得非常“健談”。MoE模型由多個稱為專家的子模型組成，對於每個生成的token，可能使用不同的專家組合（可能運行在不同GPU上）。通過將集合通信移至交換機，GPU減少了等待網絡的時間，從而能生成更多token。

Astera甚至開發了一種針對MoE推理優化的多播操作，稱為Hypercast。Astera產品管理副總裁Ahmad Danesh向《The Register》表示：“標準多播的侷限性之一是能支持的組數有限，以及對於MoE模型需要動態更改這些組。”

雖然使用PCIe作為芯片間互連有明確的優勢，但Scorpio並非直接替代Nvidia的NVSwitch芯片。今年1月在CES上發佈的NVSwitch 6提供近3倍的帶寬（14.4 TB/s）。然而，Astera無需直接與NVSwitch競爭；實際上，Astera去年春天宣佈計劃擴展對Nvidia開放高速互連的NVLink Fusion的支持。相反，Scorpio定位為供應商中立的替代方案。NVLink Fusion或新興的UALink協議正在獲得關注，但芯片需要圍繞它們設計。而PCIe幾乎兼容所有設備，因為它已用於加速器的數據進出。例如，若想組合32個或更多Nvidia RTX Pro 6000服務器卡，需要PCIe交換機，因為這些GPU完全不支持NVLink。

PCIe還使得解聚推理架構中混合不同芯片更容易，正如Nvidia與Groq、AWS與Cerebras、Intel與SambaNova等合作所示。這些架構使用一個加速器進行計算密集的預填充操作，另一個用於帶寬密集的解碼操作，芯片之間必須互聯。許多AI芯片廠商通過以太網實現，但PCIe更直接。

除Scorpio X系列芯片外，Astera還擴展了Scorpio P系列交換機，型號從32到320條PCIe通道不等。所有這些交換機均兼容其COSMOS管理套件，該硬件監控平台旨在幫助追蹤和解決網絡結構中的問題。Astera更新的Scorpio交換機現已提供樣品，預計2026年下半年量產。