Muon 近年來已成為大語言模型訓練中頗受歡迎的最佳化器，但其理論基礎仍缺乏充分解釋。由 Xiaoran Chen 等四位作者完成的 arXiv 論文《When and How Does Muon Precondition? The Role of Structured Gradient Noise》（arXiv:2610.31728，機器學習 cs.LG 分類，2026 年 10 月 22 日提交）正是圍繞這一空白展開，核心問題是：梯度噪聲的幾何結構如何決定 Muon 預條件帶來的收益。
論文首先給出一個帶有否定意味的結論。在經典各向同性噪聲假設下，作者從理論和實驗兩方面表明，Muon 除了相當於對學習率做一次重新縮放外，並不提供額外的加速效果。這一結果說明，以往在均勻噪聲框架下討論 Muon 的優越性並不充分，需要尋找更貼近真實訓練過程的噪聲模型。
為此，作者轉向結構化噪聲：在任務頻率分佈不均的聯想記憶任務中，小批次取樣會帶來具有特定結構的梯度噪聲。針對兩個任務的情形，論文給出了精確的平衡閾值，並將分析推廣到多工場景，揭示任務覆蓋度與梯度可靠性如何共同塑造學習過程。其中一項關鍵發現是，Muon 能把對任務頻率的依賴從線性削弱為平方根級別，從而幫助頻繁任務與稀有任務得到更均衡的學習。
論文還識別出 SignSGD 中由旋轉引起的負遷移現象，而 Muon 能夠避免這一問題；同時解釋了動量如何一方面降低取樣噪聲，另一方面跟蹤不斷變化的梯度。作者透過受控數值實驗驗證了上述機制，並用一項初步的大語言模型預訓練研究展示了 fast-slow momentum 的實際潛力。該預印本共 62 頁、11 幅圖，並提供音訊摘要等附加功能。
總體而言，這項工作並未籠統宣稱 Muon 必然優於其他最佳化器，而是界定了其預條件收益成立的條件：收益依賴於結構化、非各向同性的梯度噪聲，以及任務頻率異質等具體設定。這一結論為理解 Muon 的理論基礎提供了更清晰的邊界，也為後續最佳化器設計和大模型訓練實踐提供了可檢驗的方向。