AIの「メモリウォール」を突破する新サーバー

AIハードウェアスタートアップのMajestic Labsは、大規模言語モデル（LLM）が直面する「メモリウォール」問題に直接かつ包括的に取り組んでいます。同社は、最大128テラバイトのメモリを搭載した新しいAIサーバー「Prometheus」を開発中です。これは、最先端のAI処理ラックであるNvidiaのDGX B300サーバーの60倍以上のメモリ容量です。Majestic Labsの共同創業者兼社長であるSha Rabii氏は、この劇的なメモリ増加が同社に優位性をもたらすと考えています。同氏は「Nvidiaはスケールアウト可能なシステムを構築する素晴らしい仕事をしました」と認めつつも、モデルが成長するにつれて経済性が低下し、「最終的にはコンピュートを過剰にプロビジョニングし、メモリを飢餓状態にする」と主張します。

「メモリウォール」を克服するため、Majestic Labsは競合とは根本的に異なるアーキテクチャを採用しています。Nvidiaの現在のサーバーは、高速な高帯域幅メモリ（HBM）を使用してLLMのモデル重みを読み込み、さらに大容量だが低速なDRAMプールをオーバーヘッド処理に使用します。Majesticはこれに対し、統一アーキテクチャでDRAM（特にLPDDR6）に全面的に依存します。Rabii氏によると、ほとんどのメモリインターフェースは数ミリメートルという短い物理距離で動作するよう設計されており、配置できるメモリ量が制限されます。Majesticは、最大1メートルまで有効なミニチュア銅線ケーブルで構成された独自のメモリインターフェースを使用し、メモリモジュールの物理的に近くに配置されるカスタムメモリ集約チップと組み合わせて、サーバー全体のメモリを調整します。この設計により、大容量メモリプールに対応すると同時に、最大25.6 TB/sのメモリ帯域幅を実現します。

Prometheusサーバーには、12個のIgnite AIプロセッサが搭載されています。Igniteは、データセンタークラスのARMアプリケーションコアとRISC-Vベクトル/テンソルコアを単一のダイに統合し、同じメモリ空間を共有します。ARMコアはオンチップホストプロセッサとしてAIモデルをオーケストレーションし、RISC-Vコアが実際のLLM処理を実行します。これにより、プロセッサ間のハンドオフなしでLLM推論の複数の側面を処理する単一チップが実現します。Majestic LabsはPrometheusの計算性能に関する具体的な指標をまだ明らかにしていません。Rabii氏はソフトウェアの重要性も認めており、PrometheusはPyTorch、vLLM、OpenAIのTriton推論フレームワークをコード変更なしでサポートし、既存のモデルをそのまま実行できます。

サーバー自体はOpen Compute Project準拠のフォームファクター（幅21インチ、奥行き36インチ）で構築されています。1ラックに最大4台のサーバーを搭載でき、消費電力はラックあたり最大120キロワット、冷却はコールドプレート液冷で管理されます。メモリ設計はモジュール式で、最大128TB未満で購入したサーバーは後日アップグレード可能です。プロジェクトの規模にもかかわらず、Majesticは価格面でもPrometheusを優位に位置づけようとしています。これはDRAMをHBMの代わりに使用することで可能になると同社は主張しています。価格は未発表で、Prometheusは2027年に出荷予定です。Rabii氏は「顧客の資本支出はワークロードに応じて10～50倍削減され、消費電力も同程度削減される」と述べています。