Together GPU叢集新功能：為生產級GPU叢集提供可靠性與控制力

Together AI 近日為其 GPU 叢集產品推出了一系列重要更新，聚焦於生產環境中大規模訓練和推理任務的運營挑戰。新功能圍繞兩大主題展開：平臺可靠性和操作控制。

在可靠性方面，Together AI 引入了被動健康檢查機制。不同於僅在空閒節點執行的主動檢查，被動健康檢查在即時工作負載執行期間持續監測所有節點的日誌、指標和硬體訊號，能夠捕獲 GPU 脫離匯流排、Xid 錯誤、熱節流等故障模式，且幾乎不增加執行時開銷。檢測到問題後，系統自動生成修復建議（如重啟、重新配置、故障轉移或移除節點），由操作員稽核後執行。這種“人機協作”模式在自動化的同時保留了人工判斷，確保訓練檢查點和推理副本的安全。

同樣屬於平臺健康範疇的是全新的 Slurm-on-K8s 2.0 堆疊。該版本基於開源的 Slinky 專案進行重構，引入了自我修復的工作守護程序，可自動重啟崩潰元件，避免長時訓練任務中斷。此外，新堆疊徹底解決了殭屍程序、作業會計資料丟失、GPU 狀態漂移等長期痛點：作業結束時核心級清理所有子程序；會計資料儲存在持久捲上，重啟後不丟失；節點啟動時重建 GPU 檢視，確保可排程資源與硬體一致。新增的 DCGM 指標直接整合到 Grafana 儀表盤中，提供精細的 GPU 利用率監控。

操作控制方面的亮點包括全新叢集詳情檢視、外部 OIDC 認證和啟動指令碼。詳情檢視以“叢集健康嗎？佔用率如何？最近發生了什麼？”三個問題為導向，直觀展示節點健康狀態、即時利用率指標、事件時間線以及完整配置資訊。節點、健康檢查和修復三個子標籤頁分別提供詳細的節點操作、歷史健康事件和修復記錄，替代了此前透過 Slack 溝通的低效流程。

外部 OIDC 支援允許叢集對接 Google、Okta、Auth0、Microsoft Entra ID 等身份提供商，實現使用者級 Kubernetes RBAC 控制。團隊成員使用個人憑據執行 kubectl，API 伺服器透過身份提供商驗證令牌，許可權管理交給標準的 ClusterRoleBinding 和 RoleBinding。這消除了共享 admin kubeconfig 的安全隱患，併為審計追蹤提供了使用者級別的細粒度記錄。

啟動指令碼功能讓使用者可以在叢集建立時配置自定義指令碼，在節點啟動、作業開始和作業結束等生命週期事件中執行。指令碼用於安裝內部包、準備暫存空間、部署監控代理或傳送通知，無需手動操作或提交工單。系統還會對指令碼進行預驗證，避免靜默失敗。

最後，Together AI 對驗收測試策略進行了調整：對於短期或單節點小規模叢集，預設跳過驗收測試以加快可用性；而對於大型或長時執行的叢集，建議啟用驗收測試，在配置階段發現潛在硬體問題。這種權衡既滿足了快速實驗的需求，也保障了關鍵生產任務的可靠性。

所有新功能已上線，現有使用者可聯絡客戶團隊遷移至最新 Slurm 堆疊。Together AI 表示將繼續增強自動化節點修復選項，並計劃為 Slurm 和 Kubernetes 叢集提供 OIDC 支援。