Together GPU集羣新功能：為生產級GPU集羣提供可靠性與控制力

Together AI 近日為其 GPU 集羣產品推出了一系列重要更新，聚焦於生產環境中大規模訓練和推理任務的運營挑戰。新功能圍繞兩大主題展開：平台可靠性和操作控制。

在可靠性方面，Together AI 引入了被動健康檢查機制。不同於僅在空閒節點執行的主動檢查，被動健康檢查在實時工作負載運行期間持續監測所有節點的日誌、指標和硬件信號，能夠捕獲 GPU 脱離總線、Xid 錯誤、熱節流等故障模式，且幾乎不增加運行時開銷。檢測到問題後，系統自動生成修復建議（如重啓、重新配置、故障轉移或移除節點），由操作員審核後執行。這種“人機協作”模式在自動化的同時保留了人工判斷，確保訓練檢查點和推理副本的安全。

同樣屬於平台健康範疇的是全新的 Slurm-on-K8s 2.0 堆棧。該版本基於開源的 Slinky 項目進行重構，引入了自我修復的工作守護進程，可自動重啓崩潰組件，避免長時訓練任務中斷。此外，新堆棧徹底解決了殭屍進程、作業會計數據丟失、GPU 狀態漂移等長期痛點：作業結束時內核級清理所有子進程；會計數據存儲在持久捲上，重啓後不丟失；節點啓動時重建 GPU 視圖，確保可調度資源與硬件一致。新增的 DCGM 指標直接集成到 Grafana 儀表盤中，提供精細的 GPU 利用率監控。

操作控制方面的亮點包括全新集羣詳情視圖、外部 OIDC 認證和啓動腳本。詳情視圖以“集羣健康嗎？佔用率如何？最近發生了什麼？”三個問題為導向，直觀展示節點健康狀態、實時利用率指標、事件時間線以及完整配置信息。節點、健康檢查和修復三個子標籤頁分別提供詳細的節點操作、歷史健康事件和修復記錄，替代了此前通過 Slack 溝通的低效流程。

外部 OIDC 支持允許集羣對接 Google、Okta、Auth0、Microsoft Entra ID 等身份提供商，實現用户級 Kubernetes RBAC 控制。團隊成員使用個人憑據運行 kubectl，API 服務器通過身份提供商驗證令牌，權限管理交給標準的 ClusterRoleBinding 和 RoleBinding。這消除了共享 admin kubeconfig 的安全隱患，併為審計追蹤提供了用户級別的細粒度記錄。

啓動腳本功能讓用户可以在集羣創建時配置自定義腳本，在節點啓動、作業開始和作業結束等生命週期事件中執行。腳本用於安裝內部包、準備暫存空間、部署監控代理或發送通知，無需手動操作或提交工單。系統還會對腳本進行預驗證，避免靜默失敗。

最後，Together AI 對驗收測試策略進行了調整：對於短期或單節點小規模集羣，默認跳過驗收測試以加快可用性；而對於大型或長時運行的集羣，建議啓用驗收測試，在配置階段發現潛在硬件問題。這種權衡既滿足了快速實驗的需求，也保障了關鍵生產任務的可靠性。

所有新功能已上線，現有用户可聯繫客户團隊遷移至最新 Slurm 堆棧。Together AI 表示將繼續增強自動化節點修復選項，並計劃為 Slurm 和 Kubernetes 集羣提供 OIDC 支持。