Muon 近年来已成为大语言模型训练中颇受欢迎的优化器，但其理论基础仍缺乏充分解释。由 Xiaoran Chen 等四位作者完成的 arXiv 论文《When and How Does Muon Precondition? The Role of Structured Gradient Noise》（arXiv:2610.31728，机器学习 cs.LG 分类，2026 年 10 月 22 日提交）正是围绕这一空白展开，核心问题是：梯度噪声的几何结构如何决定 Muon 预条件带来的收益。
论文首先给出一个带有否定意味的结论。在经典各向同性噪声假设下，作者从理论和实验两方面表明，Muon 除了相当于对学习率做一次重新缩放外，并不提供额外的加速效果。这一结果说明，以往在均匀噪声框架下讨论 Muon 的优越性并不充分，需要寻找更贴近真实训练过程的噪声模型。
为此，作者转向结构化噪声：在任务频率分布不均的联想记忆任务中，小批量采样会带来具有特定结构的梯度噪声。针对两个任务的情形，论文给出了精确的平衡阈值，并将分析推广到多任务场景，揭示任务覆盖度与梯度可靠性如何共同塑造学习过程。其中一项关键发现是，Muon 能把对任务频率的依赖从线性削弱为平方根级别，从而帮助频繁任务与稀有任务得到更均衡的学习。
论文还识别出 SignSGD 中由旋转引起的负迁移现象，而 Muon 能够避免这一问题；同时解释了动量如何一方面降低采样噪声，另一方面跟踪不断变化的梯度。作者通过受控数值实验验证了上述机制，并用一项初步的大语言模型预训练研究展示了 fast-slow momentum 的实际潜力。该预印本共 62 页、11 幅图，并提供音频摘要等附加功能。
总体而言，这项工作并未笼统宣称 Muon 必然优于其他优化器，而是界定了其预条件收益成立的条件：收益依赖于结构化、非各向同性的梯度噪声，以及任务频率异质等具体设定。这一结论为理解 Muon 的理论基础提供了更清晰的边界，也为后续优化器设计和大模型训练实践提供了可检验的方向。