Together GPUクラスターの新機能：プロダクションGPUクラスターの信頼性と制御

Together AIは、大規模トレーニングと推論ワークロードの運用課題に対応するため、GPUクラスター製品に一連のアップデートをリリースしました。新機能はプラットフォームの信頼性と運用制御の2つのテーマに分類されます。

信頼性面では、受動的健康チェックを導入。アイドルノードでのみ実行されるアクティブチェックとは異なり、受動チェックは実ワークロード実行中に全ノードのログ、メトリクス、ハードウェア信号を継続的に監視し、GPUバス切断、Xidエラー、サーマルスロットリングなどの障害パターンをほぼオーバーヘッドなしで検出します。問題検出後、システムは再起動、再プロビジョニング、フェイルオーバー、除去の4つの修復アクションを自動提案し、オペレーターが確認・承認します。この「人間参加型」アプローチにより、自動化と安全性を両立しています。

Slurm-on-K8s 2.0スタックは、オープンソースプロジェクトSlinkyをベースに全面的に再構築されました。自己修復ワーカーデーモンが一時的な障害から自動復旧し、ゾンビプロセスの自動クリーンアップ、永続ストレージへのジョブ会計データ保存、ポッド再スケジュール時のGPUビュー再構築など、長年の課題を解決。DCGMメトリクスがGrafanaダッシュボードに統合され、詳細なGPU利用状況の可視化が可能です。

運用制御機能としては、新しいクラスター詳細ビューが提供されます。ノードの健全性、利用率、イベントタイムライン、構成情報を一目で把握可能。ノード、ヘルスチェック、修復の3つのタブで詳細な操作と履歴を確認でき、従来のSlackでのやり取りを置き換えます。外部OIDCサポートにより、Google、Okta、Auth0、Microsoft Entra IDなどのIdPと連携し、ユーザーごとのKubernetes RBACを実現。管理kubeconfigの共有リスクを排除し、監査証跡を提供します。

起動スクリプト機能では、ノード起動時、ジョブ開始時、ジョブ終了時に実行するシェルスクリプトを設定可能。内部パッケージのインストール、スクラッチ領域の準備、監視エージェントの展開、通知送信などを自動化し、手作業やサポートチケットを削減します。スクリプトは事前検証され、サイレント障害を防止します。

また、小規模クラスターではデフォルトで受け入れテストをスキップし、迅速な利用開始を優先。大規模クラスターではテストを推奨し、プロビジョニング段階で問題を発見します。新機能はすべて本番環境で利用可能であり、既存のSlurmクラスターユーザーは保守ウィンドウ経由で無償移行できます。Together AIは今後、完全自動化されたノード修復オプションやSlurm/Kubernetes向けOIDCサポートを計画しています。