大规模模型训练是 GPU 上运行的最昂贵工作负载之一,单个不健康的加速器就可能拖慢整个分布式作业。当训练吞吐量下降时,难的不是发现问题,而是定位问题根源——究竟是因为 GPU 被限流、网络链路饱和,还是主机上的数据管道停滞。团队往往需要花费数小时甚至数天翻阅日志和分散的仪表板。
Amazon SageMaker HyperPod 近日推出增强型可观测性功能,旨在帮助用户更快诊断 GPU 训练问题。该功能将诊断和性能分析能力整合在一起,覆盖运行在 Amazon Elastic Kubernetes Service (Amazon EKS) 和 Slurm 两种编排器上的训练工作负载。
增强可观测性的核心能力之一是诊断摘要。它利用 Amazon CloudWatch 的 DetectGroupOutliers API,在利用率、内存、温度、功耗和 SM 时钟频率等维度上比较训练作业中的每个 GPU,并标记出与同类显著偏离的 GPU。同时,静态诊断规则能够识别常见故障模式,例如 GPU 硬件故障(XID 错误、ECC 内存错误)、EFA 吞吐量下降、热节流和过热,从而在性能退化影响训练之前及时发现。
分布式训练成本高昂,微小的低效会累积成大量浪费的 GPU 小时。此前,要获得 HyperPod 基础设施的可见性,需要拼接多个独立工具,而且即便有了指标,也只能知道性能下降,却不知道原因。增强可观测性弥补了三个缺口:它能在数百或数千个 GPU 中隔离出单个故障加速器——无论是 XID 错误、ECC 内存故障还是热节流——让用户把时间花在修复上,而不是搜索上。这些能力共同缩短了故障排查时间,帮助用户保持昂贵加速器的高效运转。
每个能力针对分布式训练作业的不同层面。增强可观测性在两个级别收集遥测数据。默认指标自动启用,覆盖集群健康、CPU/磁盘/操作系统级使用率、GPU 利用率和温度,以及每个作业的资源利用率。这些指标每 30 秒采集一次,发送到用户选择的指标存储,CPU 开销约为 1–2%,内存占用约 250–300 MB。高级指标为可选启用,提供更深入的可见性,包括完整的节点导出器套件、所有 NVIDIA GPU DCGM 和 AWS Neuron 指标(如时钟速度、功耗、PCIe 活动和错误指示),以及 Elastic Fabric Adapter (EFA) 指标(网络接口吞吐量、丢包、重传和错误)。高级指标可选是因为它们会增加发送到指标存储的遥测量,从而产生成本影响。在小型集群上运行小作业的多数客户可能不需要它们,但对于大型集群上的长时间训练作业,这些指标至关重要,因为模式会随时间显现。
指标存储方面,用户可以选择 Amazon CloudWatch(新的默认选项)或 Amazon Managed Service for Prometheus。CloudWatch 通过 CloudWatch SageMaker Insights 提供原生监控,用户无需离开 AWS 管理控制台即可可视化指标,而且价格低于 Amazon Managed Service for Prometheus,并与 SageMaker 控制台集成更紧密。此前仅支持 Prometheus。
诊断摘要采用两种互补方法在 HyperPod 集群中发现问题。GPU 离群检测使用 CloudWatch 的 DetectGroupOutliers API,在训练作业内跨利用率、内存使用、温度、功耗和 SM 时钟频率比较 GPU。当某个 GPU 与同类显著偏离时,它会在诊断摘要中显示为离群卡片。该功能适用于 EKS 和 Slurm 作业。静态诊断规则评估已知故障模式,并按类型组织检测到的问题:硬件(GPU ECC 内存错误、XID 故障、加速器故障)、网络(EFA 吞吐量下降、丢包、重传)、节流(因热量、板卡或可靠性限制导致的 GPU 时钟节流)和过热(GPU 温度超过配置限制)。每个检测到的问题都会标识受影响的作业、集群、节点、加速器和 rank。
增强可观测性以 EKS 编排集群的附加组件和 Slurm 编排集群的扩展形式交付,这意味着用户可以通过 AWS Identity and Access Management (IAM) 控制谁可以安装或更改它。
开始使用时,用户需要创建 SageMaker HyperPod 集群(或使用现有集群),并在自定义设置流程中配置 HyperPod 可观测性。在自定义设置工作流中,展开 HyperPod observability 部分:默认勾选“Enable HyperPod Observability”;可观测性指标显示默认指标以及可选的高级指标;根据需要选择高级指标(完整节点导出器套件、所有 NVIDIA GPU DCGM/Neuron 指标和 EFA 指标);启用日志记录以为容器和 Pod 日志创建 CloudWatch 日志组;选择指标存储(Amazon CloudWatch 为默认,或 Amazon Managed Service for Prometheus);选择 Grafana 工作区(新建、使用现有或选择无);配置 IAM 角色或让控制台自动创建。注意,在快速设置中,HyperPod 可观测性默认启用且不可取消勾选。自定义设置则让用户控制启用哪些指标类别和高级指标。
对于 EKS 集群,用户还可以通过 AWS CLI 安装可观测性附加组件。以下命令创建附加组件,启用基本指标类别,并关闭可选的性能分析能力:
aws eks create-addon \ --cluster-name <cluster-name> \ --addon-name amazon-sagemaker-hyperpod-observability \ --region <region> \ --configuration-values '{ "metricsDestination": "cloudwatch", "metricsProvider": { "nodeMetrics": {"level": "BASIC", "scrapeInterval": 30}, "acceleratedComputeMetrics": {"level": "BASIC", "scrapeInterval": 30} }, "profilesProvider": { "hostProfiling": {"enabled": false} } }'
验证附加组件状态为 ACTIVE:
aws eks describe-addon \ --cluster-name <cluster-name> \ --addon-name amazon-sagemaker-hyperpod-observability \ --region <region> \ --query 'addon.status'
用户可随时启用或禁用任何指标类别或性能分析能力。对于 EKS 集群,使用 AWS CLI 更新附加组件配置。以下命令开启高级网络(EFA)指标:
aws eks update-addon \ --cluster-name <cluster-name> \ --addon-name amazon-sagemaker-hyperpod-observability \ --region <region> \ --configuration-values '{ "metricsDestination": "cloudwatch", "metricsProvider": { "nodeMetrics": {"level": "BASIC", "scrapeInterval": 30}, "acceleratedComputeMetrics": {"level": "BASIC", "scrapeInterval": 30}, "networkMetrics": {"level": "ADVANCED", "scrapeInterval": 30} } }'
在控制台中,用户可以从附加组件卡片选择“操作”然后“编辑”来进行相同更改。
对于 Slurm 集群,HyperPod 可观测性是一个集群扩展。从集群详情页打开“扩展”选项卡。如果扩展已安装,选择“操作”然后“编辑”。编辑页面为每个指标类别设置收集级别。要通过 AWS CLI 安装扩展,可以使用以下命令:
aws sagemaker create-cluster-extension \ --cluster-arn <cluster-arn> \ --extension-name sagemaker-observability \ --region <region> \ --configuration-values '{ "metricsProvider": { "clusterMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30}, "nodeMetrics": {"level": "BASIC", "collectionIntervalSeconds": 30}, "acceleratedComputeMetrics": {"level": "BASIC", "collectionIntervalSeconds": 30}, "jobMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30} }, "profilesProvider": {"hostProfiling": {"enabled": false}} }'
要开启 EFA 指标,更新扩展:
aws sagemaker update-cluster-extension \ --cluster-arn <cluster-arn> \ --extension-arn <extension-arn> \ --region <region> \ --configuration-values '{ "metricsProvider": { "clusterMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30}, "nodeMetrics": {"level": "ADVANCED", "collectionIntervalSeconds": 30}, "acceleratedComputeMetrics": {"level": "ADVANCED", "collectionIntervalSeconds": 30}, "networkMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30}, "jobMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30} } }'
使用 aws sagemaker describe-cluster-extension 命令检查状态。
集群就绪后,导航到集群详情页。新的“可观测性”选项卡显示概览,包括:节点总数(例如 128)、加速器总数(例如 1024)、活跃和最近训练作业数、平均 GPU 利用率(例如 87.3%)、平均 vCPU 利用率(例如 76.8%)和平均内存利用率(例如 83.5%)。从“可观测性”选项卡选择“打开仪表板”可导航到 CloudWatch SageMaker Insights 体验。该仪表板提供多个视图,其中“诊断摘要”显示跨 HyperPod 集群检测到的事件,用户可以精确找到根本原因——无论是硬件故障、网络问题、节流还是过热。选择任何事件卡片可查看更多详情,每张卡片都会标明受影响的作业、集群、加速器和 rank。