大型神经网络的分布式训练长期受限于两个瓶颈：全精度梯度通信带来的巨大带宽压力，以及逐坐标优化器无法利用权重张量的矩阵结构。针对这些问题，研究人员提出了一种名为SignMuon的新型优化器，它结合了signSGD的多数投票符号聚合与Muon优化器的极坐标步骤，在通信效率和模型性能之间取得了显著平衡。
SignMuon的核心设计在于每个工作节点首先通过牛顿-舒尔茨迭代计算其动量矩阵的极因子，从而形成Muon风格的更新方向。随后，节点仅传输该方向的逐元素符号（即1比特信息），而非完整的浮点数梯度。中心节点或所有节点通过多数投票机制聚合这些符号，得到最终的更新方向。此外，算法还支持可选的本地极坐标步骤，在不增加额外通信成本的前提下进一步强化正交性。
理论分析方面，在光谱范数平滑且随机梯度方差有界的假设下，SignMuon的谱范数归一化符号步骤对于基于ℓ1的平稳性度量能够达到O(1/√T)的非凸收敛速率。当噪声服从单峰对称分布时，跨M个工作节点的多数投票可将随机项减少1/√M，这与signSGD的理论保证一致。在α-β通信模型下，分布式SignMuon每次迭代仅需一次整数求和全归约操作，所有正交化均在本地完成，因此相比float32可实现32倍的带宽缩减（相比int8为4倍）。
实验验证涵盖了330种CIFAR-10/ResNet-50配置，SignMuon取得了最佳验证准确率92.15%。其4-GPU多数投票变体在匹配有效批量大小的情况下达到92.02%的准确率，同时训练时间减少了37%。在nanoGPT语言模型任务上，SignMuon相比其他基于符号的基线方法展现出更低的困惑度和更好的 anytime 性能，并且在多达16个GPU的弱扩展测试中表现良好。
该论文提交于2026年5月4日，共40页、9幅图，隶属于机器学习（cs.LG）和分布式、并行与集群计算（cs.DC）领域。SignMuon的出现为分布式深度学习提供了一种高通信效率的优化方案，尤其适用于带宽受限的大规模训练场景。