大規模ニューラルネットワークの分散トレーニングは、全精度勾配通信による帯域幅のボトルネックと、重みテンソルの行列構造を無視する座標ごとのオプティマイザによって長らく制約されてきました。この問題に対処するため、研究者らはSignMuonと呼ばれる新しいオプティマイザを提案しています。これはsignSGDの多数決符号集約とMuonオプティマイザの極座標ステップを組み合わせ、通信効率とモデル性能の間で顕著なバランスを実現します。
SignMuonの核心は、各ワーカーがまずニュートン・シュルツ反復を用いて運動量行列の極因子を計算し、Muonスタイルの更新方向を形成する点にあります。その後、ワーカーはその方向の要素ごとの符号（つまり1ビット情報）のみを送信し、完全な浮動小数点勾配は送りません。中央ノードまたは全ノードがこれらの符号を多数決で集約し、最終的な更新方向を得ます。さらに、オプションのローカル極座標ステップにより、追加の通信コストなしで直交性を強化できます。
理論分析では、スペクトルノルム平滑性と有界分散の確率的勾配の仮定の下で、SignMuonのスペクトルノルム正規化符号ステップは、ℓ1ベースの定常性指標に対してO(1/√T)の非凸収束率を達成します。ノイズが単峰対称分布に従う場合、M個のワーカーにわたる多数決は確率項を1/√Mに減少させ、これはsignSGDの理論保証と一致します。α-β通信モデルでは、分散SignMuonは反復ごとに1回の整数総和オールリデュースのみを必要とし、すべての直交化はローカルで行われるため、float32と比較して32倍の帯域削減（int8と比較して4倍）が可能です。
実験検証は330のCIFAR-10/ResNet-50構成をカバーし、SignMuonは最高検証精度92.15%を達成しました。その4-GPU多数決変種は、同一実効バッチサイズの下で92.02%の精度に達し、訓練時間を37%短縮しました。nanoGPT言語モデルタスクでは、SignMuonは他の符号ベースのベースラインと比較してより低いパープレキシティと優れた anytime 性能を示し、最大16 GPUの弱スケーリングテストでも良好な結果を示しました。
本論文は2026年5月4日に提出され、40ページ、9図からなり、機械学習（cs.LG）および分散・並列・クラスタ計算（cs.DC）分野に属します。SignMuonの登場は、分散深層学習に高い通信効率の最適化手法を提供し、特に帯域幅が制限された大規模トレーニングシナリオに適しています。