Muon は大規模言語モデルの学習で広く使われるようになった最適化器だが、その理論的基盤は十分に解明されていない。Xiaoran Chen 氏ら4名による論文「When and How Does Muon Precondition? The Role of Structured Gradient Noise」（arXiv:2610.31728、cs.LG、2026年10月22日投稿）は、この空白に正面から取り組むもので、勾配ノイズの幾何学的構造が Muon の前処理効果をどう左右するかを分析している。
まず著者らは、古典的な等方性ノイズの仮定の下では、Muon は学習率の再スケーリング以上の加速をもたらさないことを理論と実験の両面から示す。これは、均一なノイズを前提とした従来の優位性の議論が不十分であることを意味し、より現実に即したノイズモデルを探る動機となる。
そこで著者らは、タスク頻度が不均一な連想記憶においてミニバッチサンプリングが生み出す構造化ノイズに注目する。2タスクの場合について厳密なバランス閾値を導出し、多タスクへと解析を拡張することで、タスクのカバレッジと勾配の信頼性が学習を共に規定する仕組みを明らかにした。特に、Muon がタスク頻度への依存を線形から平方根へと緩和し、頻出タスクと希少タスクの学習を均衡させる点が重要な発見である。
さらに論文は、SignSGD に生じる回転由来の負の転移を特定し、Muon がそれを回避できることを示す。加えて、モメンタムがサンプリングノイズを低減しつつ変化する勾配を追跡する役割を説明している。これらの機構は制御された数値実験で検証され、fast-slow momentum の実用的可能性は予備的な LLM 事前学習研究で示唆されている。本稿は62ページ・11図からなり、音声要約などの付加機能も提供される。
総じて本論文は、Muon が常に他より優れると主張するのではなく、その前処理効果が成立する条件を明確化した点に価値がある。すなわち、等方性ではない構造化された勾配ノイズやタスク頻度の異質性といった設定が鍵となる。この知見は Muon の理論的理解に明確な境界を与え、今後の最適化器設計や大規模モデル学習の実践に向けた検証可能な方向性を示している。