深度神经网络，尤其是由重复架构模块堆叠而成的 Transformer，在训练过程中往往会自发形成跨层的结构化关系。这种在深度维度上出现的规律性，正是论文《Gradient Smoothing: Coupling Layer-wise Updates for Improved Optimization》的出发点。该论文由 Haoming Meng 等三位作者完成，于 2026 年 6 月 29 日提交至 arXiv（编号 arXiv:2606.30813v1，分类为机器学习 cs.LG，兼属人工智能 cs.AI），并已被第 43 届国际机器学习大会（ICML 2026）收录。
作者提出的核心概念是“深度梯度增强”（Depth-wise Gradient Augmentation）。这是一种通用的优化范式：对每一层施加的更新，不再只由该层自身的优化器更新决定，而是把沿深度方向排列的各模块优化器更新作为一个整体进行变换后再分配回各层。换言之，优化不再逐层独立进行，而是在层的维度上引入耦合。
在这一框架之下，论文重点研究了“梯度平滑”（Gradient Smoothing）这一类深度方向的平滑方法，并用一个简单的局部“窗口平滑”（Window Smoothing）算子加以实例化。该方法直接作用于任意基础优化器（如 SGD、Adam、Muon）所产生的逐模块更新，因此无需改动优化器本身，计算开销极小，也能与现有的优化流水线兼容。
论文在多种架构与训练场景中评估了该方法，包括语言模型预训练、面向推理能力的大语言模型强化学习后训练、扩散模型训练，以及基于 Vision Transformer 的图像分类。在这些设置中，梯度平滑都一致地改善了优化效果与泛化性能，且不需要修改模型架构或训练目标。
作者进一步表明，该方法促进了表示在深度方向上更有结构的演化，这与其作为结构化深度预条件（preconditioning）方法的解释相一致。总体而言，这些结果确立了深度梯度增强作为利用优化中跨深度结构的一个有前景的框架，并说明梯度平滑是该框架下一个简单且适用面广的具体实例。论文全文以 PDF、实验性 HTML 与 TeX 源码形式在 arXiv 上提供，并给出了 DOI 链接（待 DataCite 注册）。