GPU遙測異常：A100閒置功耗達146瓦（白皮書）
一份白皮書揭示，NVIDIA A100 GPU在報告利用率0%的情況下，功耗可達146.66瓦，暴露了GPU遙測中的關鍵盲點。作者提出新的能效基準（CEI）和開源優化器來檢測此類“幽靈”異常。
文章情報
要點
- 報告的GPU利用率可能為0%，但實際功耗超過146瓦，導致隱藏的能源浪費。
- NVIDIA的MIG分析限制在多租户雲環境中造成可觀測性缺口。
- 計算能效強度（CEI）基準標準化了每焦耳的FLOPs，用於跨供應商比較。
- 開源GPU能源優化器可檢測GHOST和DESYNC異常，並提供可操作的優化方案。
為甚麼重要
這條新聞值得關注，因為報告的GPU利用率可能為0%，但實際功耗超過146瓦，導致隱藏的能源浪費。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
標準GPU遙測工具（如nvidia-smi、Prometheus NVML導出器）假設低利用率等於低功耗和無用工作，但事實並非如此。在NVIDIA A100 SXM GPU上的受控硬件測試中，我們測量到一款GPU在報告0%利用率的情況下，功耗達到146.66瓦，並持續超過11分鐘。我們將此稱為“GHOST異常”——物理上不可能的遙測數據，導致集羣過度配置、能源浪費和錯誤的擴縮容決策。
此外，NVIDIA官方文檔確認，分析共享GPU資源（MIG分區）不受支持，這在多租户雲環境中造成了盲點，遙測不同步（DESYNC）可能悄然隱藏問題。為解決這一問題，我們開發了開源GPU能源優化器，可實時檢測GHOST和DESYNC異常，並提出計算能效強度（CEI）基準——一種標準化的每焦耳FLOPs測量方法，以實現透明的跨供應商能效比較。
測試方法包括在RunPod（NVIDIA A100 SXM 40GB和H100 SXM）上進行的35次驗證測試，所有測試均為個人自費，無贊助。測試覆蓋了閒置基線、幽靈功耗檢測、採樣率敏感性、負載斜坡等場景。關鍵發現：A100在閒置時的真實功耗為66-68瓦，而幽靈功耗高達146.66瓦，超出約79.66瓦，原因不明。對於500塊GPU的集羣，這種隱藏浪費每天導致約150美元的電費和冷卻費用。
我們提出的CEI基準定義為：CEI = 總FLOPs / 總能耗（焦耳）。A100 SXM的參考值為5.68B FLOPs/J（良好等級）。優化器提供實時異常檢測、CEI基準測試、Kubernetes/ Run:ai集成以及Grafana+Prometheus可觀測性棧。通過流重疊和雙緩衝技術，可減少約40%的空閒能耗，並將CEI提升25%。
我們正在尋求GPU雲合作伙伴、研究合作以及可觀測性專家，以在500-1000塊GPU上驗證系統。所有測試均為個人自費，現已準備擴大規模。