同一施設に配置されたAIトレーニングジョブは同期するのか？

大規模AIトレーニングジョブが共有電力制限下で同期するかどうかを探る新しい論文がarXivに提出された。AIトレーニング施設はマルチメガワット級の負荷となり、その電力消費は周期的である。数万個のアクセラレータが計算集約フェーズでピーク電力近くまで動作し、通信集約フェーズではアイドル状態となる。この周期的変動は電力網に課題をもたらす。

複数の独立したトレーニングジョブが過剰加入の電力エンベロープを共有する場合、それらの周期は独立したままではいられない可能性がある。同期が発生すると、全体の変動は平方根成長から線形成長に変わり、電力網の安定性に大きな影響を与える。論文著者のBrieuc Le Roux Tardifは、これを非線形振動子集団における創発的同期と捉えるが、古典的な結合機構は存在しない。なぜならアクセラレータのクロックは系統周波数から切り離されているからである。

研究により、結合チャネルは負荷依存スロットリングにあることが明らかになった。総需要が高いときに、電力制限、電圧降下、共有冷却システムが計算速度を遅くするのである。集群を一般化蔵本システムとして形式化した結果、著者は三つの運用者向けの結論を得た。第一に、結合は主として反発的であり、制御ループの位相遅れが半周期を超えた場合にのみ引力となる。そのため保護はモード選択的であり、レート多様性が必要である。第二に、周波数相関のあるフラストレーションにより、同期の開始は一次かつヒステリシスを伴う。これは検出に利用できる。第三に、位相分散スケジューリングはすべてのモードのしきい値を同時に引き上げ、同期を緩和できる。

この予測は、2つのジョブを同時に制限する測定によって反証可能であり、論文ではその仕様が示されている。本研究は、データセンター運営者に対して、AIトレーニングジョブの同期が電力網に与える影響を理解し、緩和するための理論的ツールを提供するものである。AIトレーニングの規模が拡大し続ける中、この発見は電力網の安定性とエネルギー管理の最適化にとって重要な意味を持つ。