高速トークン生成をめぐる競争は、ベンチマークシートから実データセンターへと移行し、そのハードウェア設計図はもはやGPUだけの話ではない。エージェント型AIのユースケースが増加し、ユーザーがリアルタイムのインタラクティブ性を求める中、推論インフラはラックレベルから再設計されている。計算負荷の高いプリフィルとレイテンシに敏感なデコードの間のギャップは、新たな専用アクセラレータの登場を促している。d-Matrix社の共同創業者兼CEOであるSid Sheth氏は、「今回の発表は、高速トークン生成に特化したNVIDIAとの協業による初の公的な異種混合コンピューティングソリューションです」と述べ、多くの推論クラウドプロバイダーがGPUのみのインフラでは低レイテンシを実現できないと訴えていると説明した。
d-MatrixのCorsairアクセラレータとNVIDIA HopperおよびBlackwell GPUを組み合わせたParasailデプロイメントは、異種混合の分離型推論を本番環境で実現した商用規模の先例の一つである。その経済性は明確で、プレミアムな高速トークンは現在、標準スループットトークンの最大10倍の価格で取引されており、推論プロバイダーが獲得を競う新たな収益層を生み出している。Sheth氏は、Anthropic Claude Codeの「Fast Mode」を例に、アプリケーション開発者がこれらの高速トークンに高い料金を課していると指摘した。
技術的には、異種混合の根拠はメモリ帯域幅にある。AI推論のボトルネックは計算能力ではなく、メモリとロジック間のデータ移動速度にあると、d-Matrixの共同創業者兼CTOであるSudeep Bhoja氏は説明する。同社のCorsairプラットフォームは、DRAMとロジックを同一基板上に積層することで、HBMアーキテクチャをはるかに超えるメモリ帯域幅を実現する。「重要なのはメモリ帯域幅です。十分なメモリ容量を持ち、そこから帯域幅を得ることです。これを3次元または単一チップ上で組み合わせれば、データ移動距離が短くなり、メモリ帯域幅を大幅に高速化できます。」Bhoja氏は、d-Matrixが提供するのはDRAMとロジックを単一チップに積層する技術であり、これによりHBMメモリの数倍の性能を低消費電力で達成できると述べた。
将来に向けて、d-Matrixは次世代3Dアーキテクチャを開発中であり、コンピュート上に4つのDRAMスタックを直接ハイブリッドボンディングすることで、より小さなフットプリントで容量と帯域幅を倍増させる計画である。Bhoja氏は「コンピュート上に4つのDRAMスタックを配置し、容量と帯域幅を向上させます。これにより、より小さなフットプリントで多くの高速トークンを生成できるようになります」と述べている。
d-Matrixの進展は、推論ハードウェアがGPU単独から異種混合へと移行し、リアルタイムAIインタラクションを求めるアプリケーションに新たなインフラ選択肢を提供することを示している。この変化は、ハードウェア設計のパラダイムを変えるだけでなく、モデル選定、推論コスト、製品性能、評価ベンチマークにも大きな影響を与えるだろう。