H100 vs H200 vs B200：どのGPUを選ぶべきか？

AI推論において、GPUの選択はモデルのレイテンシ、スループット、コストに直接影響します。NVIDIAのH100、H200、B200は現在主流の3つのGPUであり、メモリ、計算能力、コストにおいてそれぞれ異なる特性を持ちます。この記事では、これらのGPUを詳細に比較し、具体的なニーズに最適な選択を支援します。

まず、ハードウェア仕様について。通常、SXM版GPUはNVLink経由で高いメモリ帯域幅（約900 GB/s）を提供し、推論を高速化するため推奨されます。PCIe版はGPU間通信が約10倍遅く、消費電力も低いため、特に複数GPUにまたがる大規模モデルではスループットが低下する可能性があります。

メモリ容量は、モデルが単一ノードで動作可能かどうかの鍵です。標準ノードは通常8基のGPUを搭載し、総VRAMが収容可能なモデルサイズを決定します。H100 SXMノード（8x）は640 GBで中〜大規模モデルに、H200 SXMノード（8x）は1,128 GBで超大規模モデルや長いコンテキストに、B200 SXMノード（8x）は1,440 GBで最大の余裕を提供します。例えば、GLM 5.2（7440億パラメータ）はFP8で約755 GBの重みを必要とし、H200とB200ノードのみが単一ノードで収容可能で、KVキャッシュ等の余裕もあります。

小規模モデル向けには、マルチインスタンスGPU（MIG）技術により、1つのGPUを最大7つの独立したスライスに物理分割できます。各スライスは独立したメモリと計算リソースを持ち、複数の小規模モデルを同時にサービスしたり、テナント間で分割したりできます。例えば、分割されたH100は完全なA100と同等以上の性能を低コストで実現します。MIGは3Bパラメータ未満の埋め込みモデルや音声入出力モデルに最適ですが、Mixtral 8x7B規模以上の大規模モデルや大バッチサイズの訓練には不向きです。

BlackwellアーキテクチャはFP4精度（NVFP4）を導入し、FP8よりメモリ効率が高く高速です。第2世代Transformer Engineは層ごとにFP4、FP8、FP16を自動切り替え、精度を維持します。FP4はFP16比で重みメモリを約3.5倍削減し、解放されたメモリはKVキャッシュや長いコンテキストに利用できます。これにより、B200は少ないGPUでより大きなモデルを実行したり、既存モデルにより多くのコンテキストを提供できます。

非同期プログラミングもスループット向上に貢献します。Hopperアーキテクチャのテンソルメモリアクセラレータ（TMA）はデータ読み込みを専用ハードウェアに任せ、Blackwellのテンソルメモリ（TMEM）は行列積の中間結果を保持して待ち時間を削減します。TensorRT-LLMはアーキテクチャに応じて最適なカーネルと非同期戦略を選択します。

具体的な推奨：

• H100：埋め込み、音声認識、音声合成モデル；中小規模モデルやMIGによるマルチテナントサービス；低トラフィックや断続的な利用でコスト優先の場合。
• H200：大規模モデルの訓練（最大メモリ）；中規模な大規模モデルの推論。
• B200：高スループットの本番推論（特にTensorRT-LLMとの組み合わせ）；画像・動画生成；品質を損なわずFP4モデルを実行する場合。

よくある質問：

• B200の価格プレミアムはいつ妥当か？一貫して高負荷な本番環境では、高いメモリ帯域幅とFP4対応によりトークンあたりコストが低減するため。
• MIGとは何か？1つのGPUを最大7つの独立インスタンスに分割する技術。小規模モデルや低トラフィック展開に適する。
• FP4は品質を損なうか？タスクによるが、Transformer Engineが層ごとに精度を調整するため、多くの実運用で許容範囲内。
• マルチノードか、H200/B200へのアップグレードか？モデルが単一ノードに収まるなら後者が単純で安価。収まらない場合のみマルチノードを検討。

以上のように、H100、H200、B200はそれぞれ強みが異なります。モデルサイズ、トラフィック、予算を総合的に考慮して選択してください。