这篇由 Hee-Sung Kim 等人撰写、被 ICML 2026 接收的论文《Gradient Descent with Large Step Size Restores Symmetry in Deep Linear Networks with Multi-Pathway》（大歩长梯度下降在多路径深度线性网络中恢复对称性），于 2026 年 5 月 29 日提交至 arXiv，编号为 arXiv:2606.05219v1，属于机器学习（cs.LG）与人工智能（cs.AI）交叉领域。论文聚焦一个在理论学习中颇具争议的问题：当深度线性网络包含多条并行路径时，训练过程究竟会让各条路径走向“赢家通吃”的专业化分工，还是倾向于让信号在多条路径间共享。
此前对多路径深度线性网络的分析大多借助梯度流（Gradient Flow, GF）这一连续时间近似，得出的结论是网络会出现“赢家通吃”式的专业化：路径之间的对称性被打破，每一个特征最终集中到单一通路上，形成单路径主导的解决方案。这种预测在直观上符合深度网络容易产生特征专门化的经验观察，因此被广泛引用。
然而，作者指出，当把分析对象换成离散的梯度下降（Gradient Descent, GD）并使用较大的步长时，故事会完全不同。论文从理论上证明，单路径解实际上是尖锐极小值（sharp minima），而把信号分散到多条路径上则能够降低损失曲面的尖锐程度，且这种降低幅度会随着路径数量和网络深度的增加而进一步减小。换言之，深度越深、路径越多，共享表示在平坦性上的优势就越明显。
基于这一尖锐度分析，作者刻画了训练过程的两个阶段。在训练早期，网络行为确实会复现梯度流所预测的、由深度驱动的对称性破缺，信号开始向少数路径集中。但随着训练推进到“稳定性边缘”（Edge of Stability），大歩长引发的振荡会压过这种专业化趋势，把网络推入一个“再平衡”阶段，使信号重新在多条路径之间分配。
这项工作的意义在于，它澄清了深度如何塑造路径之间的竞争关系，并解释了大歩长梯度下降为何最终偏向共享表示、而不是持续的单路径主导。论文的结论对理解实际训练中步长选择与网络深度对表示学习的影响具有理论价值，同时也提示：仅用连续时间梯度流近似来预测离散优化行为可能得出误导性的结论。该论文全文约 1000 KB，提供 PDF、实验性 HTML 以及 TeX 源码等多种访问方式，DOI 为 10.48550/arXiv.2606.05219。