Together GPU集群新功能：为生产级GPU集群提供可靠性与控制力

Together AI 近日为其 GPU 集群产品推出了一系列重要更新，聚焦于生产环境中大规模训练和推理任务的运营挑战。新功能围绕两大主题展开：平台可靠性和操作控制。

在可靠性方面，Together AI 引入了被动健康检查机制。不同于仅在空闲节点执行的主动检查，被动健康检查在实时工作负载运行期间持续监测所有节点的日志、指标和硬件信号，能够捕获 GPU 脱离总线、Xid 错误、热节流等故障模式，且几乎不增加运行时开销。检测到问题后，系统自动生成修复建议（如重启、重新配置、故障转移或移除节点），由操作员审核后执行。这种“人机协作”模式在自动化的同时保留了人工判断，确保训练检查点和推理副本的安全。

同样属于平台健康范畴的是全新的 Slurm-on-K8s 2.0 堆栈。该版本基于开源的 Slinky 项目进行重构，引入了自我修复的工作守护进程，可自动重启崩溃组件，避免长时训练任务中断。此外，新堆栈彻底解决了僵尸进程、作业会计数据丢失、GPU 状态漂移等长期痛点：作业结束时内核级清理所有子进程；会计数据存储在持久卷上，重启后不丢失；节点启动时重建 GPU 视图，确保可调度资源与硬件一致。新增的 DCGM 指标直接集成到 Grafana 仪表盘中，提供精细的 GPU 利用率监控。

操作控制方面的亮点包括全新集群详情视图、外部 OIDC 认证和启动脚本。详情视图以“集群健康吗？占用率如何？最近发生了什么？”三个问题为导向，直观展示节点健康状态、实时利用率指标、事件时间线以及完整配置信息。节点、健康检查和修复三个子标签页分别提供详细的节点操作、历史健康事件和修复记录，替代了此前通过 Slack 沟通的低效流程。

外部 OIDC 支持允许集群对接 Google、Okta、Auth0、Microsoft Entra ID 等身份提供商，实现用户级 Kubernetes RBAC 控制。团队成员使用个人凭据运行 kubectl，API 服务器通过身份提供商验证令牌，权限管理交给标准的 ClusterRoleBinding 和 RoleBinding。这消除了共享 admin kubeconfig 的安全隐患，并为审计追踪提供了用户级别的细粒度记录。

启动脚本功能让用户可以在集群创建时配置自定义脚本，在节点启动、作业开始和作业结束等生命周期事件中执行。脚本用于安装内部包、准备暂存空间、部署监控代理或发送通知，无需手动操作或提交工单。系统还会对脚本进行预验证，避免静默失败。

最后，Together AI 对验收测试策略进行了调整：对于短期或单节点小规模集群，默认跳过验收测试以加快可用性；而对于大型或长时运行的集群，建议启用验收测试，在配置阶段发现潜在硬件问题。这种权衡既满足了快速实验的需求，也保障了关键生产任务的可靠性。

所有新功能已上线，现有用户可联系客户团队迁移至最新 Slurm 堆栈。Together AI 表示将继续增强自动化节点修复选项，并计划为 Slurm 和 Kubernetes 集群提供 OIDC 支持。