Muon最適化器はモジュラー算術タスクにおいて、AdamWよりも速く「グロッキング」閾値に達することが知られています。先行研究では、この高速化は「スペクトルノルム制約と直交化されたモメンタム」に起因するとされていましたが、どのメカニズムが本質的かは特定されていませんでした。本研究では、複数のシードと学習率を用いた大規模なスイープ実験により、各成分の効果を分解し、ストレステストを行うことで、Muonの挙動を詳細に解析しました。
まず、アブレーション実験の結果、高速化は直交化（Newton-Schulz反復）に完全に依存することが明らかになりました。直交化のみを使用した場合、完全なMuonと同等の速度が達成される一方、スペクトルノルム制約のみではAdamWと変わらず、信頼性も低いことが示されました。この結果は学習率に依存しないため、直交化が唯一の有効成分であると結論づけられます。
次に、メカニズム分析により、直交化最適化器は汎化に達する際のスペクトルノルムがAdamWの約3分の1であることがわかりました。さらに、埋め込みの実際の移動量を制御した条件下でも、直交化最適化器はより低ノルムの解に収束しており、単に埋め込みの摂動が少ないわけではないことが確認されました。
第三に、Newton-Schulz反復回数の影響を調べたところ、反復回数を5回から1回に減らすと、グロッキング閾値に達する時間は短縮されるものの、得られた解は脆弱になり、一時的な崩壊を起こしやすくなります。この脆弱性は学習率が大きくなるほど顕著になり、1回の反復は非常に小さい学習率でのみ高速かつ安定ですが、標準の5回反復は幅広い学習率に対してロバストであることが示されました。また、スペクトルスケーリングは測定可能な性能低下なしに削除できることも明らかになりました。
方法論的には、安定性を考慮した指標の重要性が強調されています。単に最初に閾値を超えた時刻だけを見ると、「より速い」という主張が誤解を招く可能性があります。なぜなら、一部の最適化器は素早く閾値に達しても持続的にグロッキング状態を維持できないからです。そのため、本研究では最初の到達時間と持続的グロッキング時間の両方を報告しています。再現性を確保するため、トレーニングと解析の完全なコードが公開されています。