Astera輕聲細語，手握巨劍

Astera Labs在週二推出了一款替代Nvidia NVSwitch的AI系統機架級交換機，聲稱其幾乎可相容任何加速器。這款名為Scorpio X的AI結構晶片將320條PCIe 6.0通道整合到單個ASIC中，提供5.12 TB/s的雙向頻寬。

歷史上，PCIe交換機已廣泛應用於多種場景，包括橫向擴充套件計算結構。單獨的CPU無法提供足夠或足夠快的通道來連線所有GPU、NIC和儲存裝置，因此常透過內建在NIC中的PCIe交換機連線所有元件。Astera認為，只要交換機足夠大，PCIe可以成為NVLink等互連技術的可行替代方案，用於將數十個或更多GPU組合成單個大型GPU的縱向擴充套件結構，而無需重新設計加速器。

然而，Astera並非僅僅構建了更大的PCIe交換機。Scorpio配備了與Nvidia NVSwitch相同的許多網路內計算能力，有助於加速集合通訊。這些通訊對於生成式AI推理尤為重要。隨著混合專家（MoE）架構的流行，大型語言模型在網路方面變得非常“健談”。MoE模型由多個稱為專家的子模型組成，對於每個生成的token，可能使用不同的專家組合（可能執行在不同GPU上）。透過將集合通訊移至交換機，GPU減少了等待網路的時間，從而能生成更多token。

Astera甚至開發了一種針對MoE推理最佳化的多播操作，稱為Hypercast。Astera產品管理副總裁Ahmad Danesh向《The Register》表示：“標準多播的侷限性之一是能支援的組數有限，以及對於MoE模型需要動態更改這些組。”

雖然使用PCIe作為晶片間互連有明確的優勢，但Scorpio並非直接替代Nvidia的NVSwitch晶片。今年1月在CES上釋出的NVSwitch 6提供近3倍的頻寬（14.4 TB/s）。然而，Astera無需直接與NVSwitch競爭；實際上，Astera去年春天宣佈計劃擴充套件對Nvidia開放高速互連的NVLink Fusion的支援。相反，Scorpio定位為供應商中立的替代方案。NVLink Fusion或新興的UALink協議正在獲得關注，但晶片需要圍繞它們設計。而PCIe幾乎相容所有裝置，因為它已用於加速器的資料進出。例如，若想組合32個或更多Nvidia RTX Pro 6000伺服器卡，需要PCIe交換機，因為這些GPU完全不支援NVLink。

PCIe還使得解聚推理架構中混合不同晶片更容易，正如Nvidia與Groq、AWS與Cerebras、Intel與SambaNova等合作所示。這些架構使用一個加速器進行計算密集的預填充操作，另一個用於頻寬密集的解碼操作，晶片之間必須互聯。許多AI晶片廠商透過乙太網實現，但PCIe更直接。

除Scorpio X系列晶片外，Astera還擴充套件了Scorpio P系列交換機，型號從32到320條PCIe通道不等。所有這些交換機均相容其COSMOS管理套件，該硬體監控平臺旨在幫助追蹤和解決網路結構中的問題。Astera更新的Scorpio交換機現已提供樣品，預計2026年下半年量產。