AMD推出用於AI推理的PCIe GPU卡

AMD上週發佈了其Instinct系列最新GPU——MI350P，該產品旨在讓企業無需重建數據中心即可快速提升AI推理能力。MI350P採用標準PCIe Gen 5接口，可直接插入現有服務器的PCI總線，提供128GB/s的主機連接帶寬。

MI350P擁有1850億個晶體管、144GB HBM3e內存和4TB/s的峯值內存帶寬，運行在600W熱設計功耗內。它支持BF16、FP8、MXFP6和MXFP4精度，通過128個AMD CDNA第四代計算單元，在MXFP4精度下可提供高達4600峯值teraflops的性能。該GPU專為運行小型、中型和大型語言模型進行AI推理和檢索增強生成（RAG）場景設計，可處理參數規模達2000億至2500億的AI模型，並支持視頻和JPEG解碼。

每個節點最多可配置八塊MI350P GPU，且每塊GPU可劃分為四個分區，每個分區擁有36GB HBM3內存。AMD強調，該GPU採用標準風冷散熱，無需液體冷卻。AMD計算與企業AI業務開發主管Suresh Andani在博客中表示：“採用AI並不意味着從頭重建基礎設施。通過AMD Instinct MI350P PCIe卡，企業可以在現有數據中心內運行更多模型併為更多用户提供服務。”

MI350P獲得了戴爾、技嘉等OEM廠商的支持。戴爾產品管理副總裁David Schmidt表示，新GPU將幫助客户更快推進AI計劃：“對於認真對待AI的企業來説，本地基礎設施不是妥協，而是競爭優勢，它能提供控制力、安全性和可預測的結果。”技嘉總經理Daniel Hou也稱讚該GPU的實用性：“PCIe設計使MI350P能夠靈活部署並無縫集成到系統中，讓企業能夠構建高性能AI環境，並具備全球擴展所需的靈活性和效率。”

除了MI350P，AMD還在開發更高端的風冷GPU以及液冷型號。例如，Instinct UB B8是MI350X和MI355X系列的八GPU風冷配置，以通用基板形式交付，提供2.3TB HBM3和8TB/s內存帶寬，並支持AMD Infinity Fabric用於擴展，AMD稱其性能可與Nvidia Blackwell媲美。UB B8將支持參數高達5000億的模型，專為大規模AI訓練和推理設計。

AMD還提供液冷版Instinct MI355X，熱設計功耗高達1400W，超微和TensorWave正與AMD合作支持這些液冷芯片。此外，AMD也有液冷版Radeon遊戲GPU。

雖然市場上存在需要液冷甚至800V直流供電的超高端GPU，但許多客户希望在現有基礎設施上運行稍小的AI模型，而不願建造全新的數據中心。AMD的MI355P系列正是瞄準這一細分市場。