一篇已被第35届国际人工神经网络大会(ICANN 2026)接收的论文,尝试把流体力学中的激波理论与随机梯度下降的对称约化学习动力学建立起严谨的数学联系。论文题为《A Link between Shock-wave Theory and Symmetry-reduced Stochastic Gradient Descent for Artificial Neural Networks》,作者为 Taiki Miyagawa,于2026年6月16日提交至 arXiv,编号 arXiv:2606.18303v1,归类为机器学习(cs.LG),并交叉列入人工智能(cs.AI)。全文约300 KB,可通过PDF、实验性HTML以及TeX源码获取,DOI 由 DataCite 颁发。
研究的核心思路是综合运用微分几何、李群理论与流体力学三套工具。作者首先对神经网络参数空间中普遍存在的对称性进行商化(quotienting),也就是把那些在功能上等价、仅仅因为参数冗余而不同的参数配置视为同一点,从而得到商流形。随后在此基础上施加“局部熵粗粒化”,得到一个有效动力学描述:在商流形上,学习过程满足一个粘性 Hamilton–Jacobi 方程。
在此之上,论文进一步引入一条假设:若原始参数动力学可以用商化空间上的一个梯度场来概括,那么粗粒化损失函数的梯度便服从 Burgers 型方程。Burgers 方程是激波理论中的经典模型,其解会在有限时间内形成不连续面,即激波。论文指出,在这种设定下,激波的形成可以被严格证明,这也正是论文标题中“激波理论”的含义所在。
作者把这一理论框架应用到多类网络结构上,包括多层感知机、卷积神经网络、Transformer 以及平均场网络,并论证它们分别服从 Hamilton–Jacobi 型或 Burgers 型方程。这为不同架构的训练动力学提供了一个统一的数学视角,而不再只是零散的经验观察。
论文还提出了一个具有实践意义的猜想:该框架有望为深度学习提供可用的诊断工具。作者特别指出,在 Transformer 等结构中,原始参数范数往往因对称冗余而被扭曲,因此直接用它来判断训练状态可能会产生误导;相比之下,经过对称性校正的商化观测量,为监控、预测和控制训练阶段的相变提供了更有原则性的基础。
需要说明的是,这些实践价值目前仍属于作者的猜想,尚待后续工作检验;论文的严格结论集中在数学层面,即商化与粗粒化后的有效动力学满足粘性 Hamilton–Jacobi 方程,以及在给定梯度场假设下 Burgers 型方程激波形成的可证性。该工作为理解神经网络训练中的相变现象提供了新的理论语言。