H100 與 H200 GPU 對比

在AI推理領域，GPU的選擇直接影響模型性能、成本和延遲。H100和H200是當前主流的兩款GPU，它們在硬件規格、適用場景上各有優劣。本文將從實際應用角度出發，對比兩者的差異，並介紹MIG和異步編程等優化技術，幫助您做出合適的選擇。

硬件規格對比

我們主要比較SXM版本的GPU，因為它們通過NVLink直連，帶寬高達約900 GB/s，顯著快於PCIe版本。H200的最大優勢在於其HBM3e顯存：容量從H100的80GB提升至141GB，總節點顯存從640GB增至1128GB，同時內存帶寬也從3.35 TB/s提升至4.8 TB/s。這意味着H200能容納更大模型，併為KV緩存和激活值留出更多空間。具體而言，H100節點（8×80GB）適合中小模型，而H200節點（8×141GB）足以運行如GLM 5.2（744B參數）這樣的大模型，且仍有富餘。

MIG：讓小模型也能用上高端GPU

H100和H200支持MIG（多實例GPU），可將一塊GPU物理分割為最多7個獨立實例，每個擁有獨立的顯存和計算資源。這使得你可以在一張GPU上並行運行多個小模型（如嵌入模型或語音模型），成本遠低於使用整張GPU。MIG尤其適合參數低於30億的模型，但大模型（如Mixtral 8x7B及以上）或需要大批量的訓練任務仍需要完整GPU。

異步編程：消除GPU空閒等待

傳統推理中，GPU在加載數據時常處於空閒狀態。異步編程通過重疊數據加載與計算，讓GPU持續工作。H100和H200的Hopper架構內置Tensor Memory Accelerator，專門負責數據傳輸，使計算線程可專注於運算。這一技術能顯著提升吞吐量，尤其適用於跨多GPU的大型模型。

場景建議

• H100：適用於嵌入模型、語音轉文字/合成、中小模型、流量波動大的場景，以及需要MIG多租户部署的情況。
• H200：適合訓練超大模型、運行大型語言模型、需要長上下文窗口或極高吞吐量的應用。

常見問題

• 為什麼GPU內存帶寬重要？ 它決定了數據從HBM傳輸到計算核心的速度。H200更高的帶寬能減少大模型推理中的瓶頸。
• GPU內存如何影響大模型？ 內存決定模型能否完整裝入節點，以及KV緩存的餘量。大模型常受限於內存。
• H100還是H200更適合推理？ 取決於模型大小：小模型選H100，大模型選H200。

總之，H100以其高性價比和MIG特性，是中小規模部署的理想選擇；而H200憑藉更大的顯存和帶寬，為大型模型和長上下文場景提供了強大支持。