AIハードウェア市場分析：メモリボトルネックと各層のソリューション

最新のGPUは、大規模言語モデルの推論中、特にデコードフェーズにおいて、その演算ユニットの多くが待機状態にある。H100は、精度やスパース性に応じて2〜4 PFLOPS/sのテンソルスループットを誇るが、自己回帰デコードでは、乗算ではなくメモリ帯域幅がボトルネックとなる。H100のHBM帯域幅は約3.35 TB/sであり、メモリからフェッチした1バイトあたり数百の有用な演算を実行しない限り、テンソルコアをフルに活用できない。この問題はGPUの世代を超えて続いており、ピークテンソルスループットが外部メモリ帯域幅よりも速く成長しているため、演算強度のギャップは拡大する一方である。

現在のAIハードウェア市場の興味深い現象の多くは、この基本的な事実に起因している。各企業は、メモリ問題のどの部分に取り組むか、そしてNVIDIAとの直接競争を避けられるかが問われている。市場は、チップ内部、推論エンジン、キャッシュ階層、物理パッケージとラックといった異なるレベルでソリューションを模索している。

チップレベルでは、GroqはHBMを完全に排除し、オンチップSRAMに置き換えた。これにより、決定論的な実行モデルが可能になり、HBM待ち時間が発生しない。Cerebrasは、1枚のシリコンウェハー全体を覆う単一チップを構築し、44 GBのオンチップSRAMと21 PB/sの内部メモリ帯域幅を実現した。MatXはトランスフォーマー推論のアクセスパターンに最適化されたスクラッチパッドメモリを設計し、d-Matrixはメモリ内部で演算を行うインメモリコンピューティングを採用している。これらはすべて、データの格納場所と演算実行場所のギャップを縮小または解消しようとする試みである。

不完全なハードウェアでも、ソフトウェアによってボトルネックを回避できる。大まかなルーフラインヒューリスティックによれば、デコードのバッチサイズは約300×(Ntotal/Nactive)でスケールする。稠密モデルでは約300トークン、DeepSeekスタイルのMoEモデルでは約6000トークンとなる。この閾値を下回ると帯域幅制限、上回ると計算制限となる。スケジューリングの問題は、これらのサイクルにリクエストを効率的にパッキングし、スループットを最大化しつつレイテンシ目標を達成することである。RadixArkとInferactは、それぞれSGLangとvLLMをベースにこの分野で競合している。

KVキャッシュも重要なメモリ問題である。推論中、システムは過去のトークンのアテンション状態を保持するKVキャッシュを読み出す。重みは固定だが、KVキャッシュはコンテキスト長とバッチサイズに比例して増大する。大規模モデルでは、KVキャッシュはトークンあたり数百KBに達し、約20万トークンで重みと同程度のメモリを消費する。TensorMeshのLMCacheは、KVキャッシュをGPU、CPU RAM、NVMe、S3に分散して保存し、再利用可能なKV状態を再計算せずに引き出せるようにする。

パッケージングと相互接続の面では、CoWoS（TSMCの先進パッケージング技術）が供給ボトルネックとなっている。72 GPUシステムから500+ GPUへのスケールアップは、コネクタ密度、ケーブル曲げ半径、電力供給、液冷、HBM接合歩留まりなど、機械工学と材料科学の問題に直面する。このボトルネックを解決する企業は、ASMLのような市場ポジションを獲得できる可能性がある。

要するに、AIハードウェア市場はメモリ問題のスタックである。チップは重みを演算ユニットに近づけ、推論エンジンは帯域幅を考慮したバッチ処理とスケジューリングを最適化し、KVキャッシュシステムは階層ストレージを活用し、パッケージングと相互接続はラック全体を1台のマシンのように振る舞わせる。しかし、アルゴリズムの進歩、特に投機的デコード、KVキャッシュ圧縮、スパース性、蒸留、低ビットモデルなどがメモリ移動量を削減し、ハードウェアアプローチの有効性を変える可能性もある。持続可能な企業は、各層でアドバンテージを築きつつも、スタック内の他の部分に内部化できない独自のコントロールポイントを持つ必要がある。