H100 与 H200 GPU 对比
本文对比了H100和H200 GPU在AI推理中的表现。H100适合中小模型和低流量场景，性价比高；H200凭借更大的HBM3e显存和更高带宽，更适合大模型、长上下文推理和高KV缓存需求。文章还介绍了MIG分区和异步编程等技术。
在AI推理领域，GPU的选择直接影响模型性能、成本和延迟。H100和H200是当前主流的两款GPU，它们在硬件规格、适用场景上各有优劣。本文将从实际应用角度出发，对比两者的差异，并介绍MIG和异步编程等优化技术，帮助您做出合适的选择。
硬件规格对比
我们主要比较SXM版本的GPU，因为它们通过NVLink直连，带宽高达约900 GB/s，显著快于PCIe版本。H200的最大优势在于其HBM3e显存：容量从H100的80GB提升至141GB，总节点显存从640GB增至1128GB，同时内存带宽也从3.35 TB/s提升至4.8 TB/s。这意味着H200能容纳更大模型，并为KV缓存和激活值留出更多空间。具体而言，H100节点（8×80GB）适合中小模型，而H200节点（8×141GB）足以运行如GLM 5.2（744B参数）这样的大模型，且仍有富余。
MIG：让小模型也能用上高端GPU
H100和H200支持MIG（多实例GPU），可将一块GPU物理分割为最多7个独立实例，每个拥有独立的显存和计算资源。这使得你可以在一张GPU上并行运行多个小模型（如嵌入模型或语音模型），成本远低于使用整张GPU。MIG尤其适合参数低于30亿的模型，但大模型（如Mixtral 8x7B及以上）或需要大批量的训练任务仍需要完整GPU。
异步编程：消除GPU空闲等待
传统推理中，GPU在加载数据时常处于空闲状态。异步编程通过重叠数据加载与计算，让GPU持续工作。H100和H200的Hopper架构内置Tensor Memory Accelerator，专门负责数据传输，使计算线程可专注于运算。这一技术能显著提升吞吐量，尤其适用于跨多GPU的大型模型。
场景建议
- H100：适用于嵌入模型、语音转文字/合成、中小模型、流量波动大的场景，以及需要MIG多租户部署的情况。
- H200：适合训练超大模型、运行大型语言模型、需要长上下文窗口或极高吞吐量的应用。
常见问题
- 为什么GPU内存带宽重要？ 它决定了数据从HBM传输到计算核心的速度。H200更高的带宽能减少大模型推理中的瓶颈。
- GPU内存如何影响大模型？ 内存决定模型能否完整装入节点，以及KV缓存的余量。大模型常受限于内存。
- H100还是H200更适合推理？ 取决于模型大小：小模型选H100，大模型选H200。
总之，H100以其高性价比和MIG特性，是中小规模部署的理想选择；而H200凭借更大的显存和带宽，为大型模型和长上下文场景提供了强大支持。