Asteraは静かに語り、大きなスイッチを擁する

Astera Labsは火曜日、NvidiaのNVSwitchに代わるAIシステム向けラックスケールスイッチを発表し、ほぼすべてのアクセラレータと互換性があると主張した。コードネーム「Scorpio X」と呼ばれるこのAIファブリックスイッチは、320レーンのPCIe 6.0接続を単一のASICに集約し、5.12 TB/sの双方向帯域幅を実現する。

歴史的に、PCIeスイッチはスケールアウトコンピュートファブリックなど様々な用途で使用されてきた。CPUだけでは、必要なすべてのGPU、NIC、ストレージに対して十分なレーン数や速度を提供できなかったため、NICに内蔵されたPCIeスイッチを介してすべてを接続していた。Asteraは、十分に大きなスイッチがあれば、PCIeはNVLinkのようなインターコネクトの viable な代替手段となり、数十以上のGPUを単一の大型GPUのように動作させるスケールアップファブリックにおいて、アクセラレータの再設計を必要としないと主張する。

しかし、Asteraは単により大きなPCIeスイッチを構築したわけではない。Scorpioには、NvidiaのNVSwitchと同様のネットワーク内計算機能が多数搭載されており、これらは集合通信を加速する。これらの通信は生成AI推論にとって特に重要である。大規模言語モデルは、混合エキスパート（MoE）アーキテクチャの普及により、ネットワークの観点から非常に「おしゃべり」になっている。MoEモデルはエキスパートと呼ばれる複数のサブモデルで構成され、生成されるトークンごとに、異なるGPU上で動作する可能性のある異なるエキスパートの選択が使用される。集合通信をスイッチに移すことで、GPUはネットワークの追い付きを待つ時間を減らし、トークンの生成により多くの時間を費やすことができる。

Asteraはさらに、MoE推論に最適化されたマルチキャスト操作「Hypercast」を開発した。Asteraのプロダクトマネジメント担当AVPであるAhmad Danesh氏はEl Regに対し、「標準マルチキャストの限界の1つは、サポートできるグループの数と、混合エキスパートモデルでそれらのグループを動的に変更する必要性です」と語った。

PCIeをチップ間インターコネクトとして使用する明確な利点がある一方、ScorpioはNvidiaのNVSwitchチップの完全な代替品ではない。1月のCESで発表されたNVSwitch 6は、約3倍の帯域幅（14.4 TB/s）を提供する。しかし、AsteraがNVSwitchと直接競合する必要はない。実際、Asteraは昨年春、Nvidiaが高速インターコネクトを広範なエコシステムに開放する取り組みであるNVLink Fusionのサポートを拡大する計画を発表している。むしろ、Scorpioはベンダーに依存しない代替品として位置づけられている。NVLink Fusionや新興のUALinkプロトコルなどの技術は注目を集めているが、チップはそれらを中心に設計する必要がある。一方、PCIeはアクセラレータへのデータの入出力にすでに使用されているため、ほぼすべてのデバイスで動作する。例えば、32枚以上のNvidia RTX Pro 6000 Serverカードを接続する場合、これらのGPUはNVLinkをまったくサポートしていないため、PCIeスイッチが必要になる。

PCIeはまた、NvidiaとGroq、AWSとCerebras、IntelとSambaNovaのような分離型推論アーキテクチャにおいて、チップの混在を容易にする。これらのアーキテクチャでは、計算集約型のプリフィル操作に1つのアクセラレータを使用し、帯域幅集約型のデコード操作に別のアクセラレータを使用する。これを機能させるには、チップ同士を接続する必要がある。多くのAIチップメーカーはこれをイーサネット経由で行っているが、PCIeの方がより直接的である。

Scorpio Xファミリーに加えて、AsteraはScorpio Pシリーズスイッチも拡張しており、32から320レーンのPCIe接続のモデルを提供する。これらのスイッチはすべて、ファブリック全体の問題を追跡および解決するためのハードウェア監視プラットフォームであるCOSMOS管理スイートと連携する。AsteraのリフレッシュされたScorpioスイッチは現在サンプル出荷中であり、生産は2026年下半期に本格化する見込みである。