衝擊波理論與對稱約簡隨機梯度下降在人工神經網絡中的聯繫
本文建立了衝擊波理論與隨機梯度下降對稱商學習動態之間的數學顯式聯繫，利用微分幾何、李羣理論和流體力學。在商掉參數對稱性並應用局部熵粗粒化後，有效動態滿足商流形上的粘性Hamilton-Jacobi方程。進一步假設原始參數動態可由商空間上的梯度場概括，則粗粒化損失函數的梯度服從Burgers型方程，可嚴格證明衝擊形成。該理論應用於多層感知器、卷積神經網絡、Transformer和平均場網絡，並證明它們滿足Hamilton-Jacobi或Burgers型方程。作者推測該框架可為深度學習提供實用診斷工具，尤其是在Transformer等架構中，原始參數範數常因對稱冗餘而失真，而對稱校正的商可觀測量為監測、預測和控制訓練階段轉變提供了原則性基礎。
近日，一篇發表於2026年國際人工神經網絡會議（ICANN）的論文《A Link between Shock-wave Theory and Symmetry-reduced Stochastic Gradient Descent for Artificial Neural Networks》提出了衝擊波理論與神經網絡訓練動態之間的數學聯繫。該研究由Taiki Miyagawa完成，利用微分幾何、李羣理論和流體力學等工具，探索了隨機梯度下降（SGD）在對稱性約簡下的學習動態。
研究團隊發現，在對參數空間進行對稱商化並應用局部熵粗粒化技術後，學習動態可被描述為商流形上的粘性Hamilton-Jacobi方程。進一步，如果原始參數動態可被商空間上的梯度場概括，粗粒化損失函數的梯度則服從Burgers型方程，並可以嚴格證明衝擊波的形成。這一發現為理解深度學習中非凸優化的非線性行為提供了新視角。
該理論被應用於多種主流神經網絡架構，包括多層感知器（MLP）、卷積神經網絡（CNN）、Transformer和平均場網絡。實驗表明，這些網絡的學習動態均滿足Hamilton-Jacobi或Burgers型方程，驗證了理論的普適性。論文指出，在Transformer等架構中，原始參數範數常因對稱冗餘而失真，導致監控信號產生誤導。相比之下，經過對稱校正的商可觀測量提供了更可靠的基礎，可用於監測、預測甚至控制訓練過程中的相變。
作者認為，該框架不僅深化了對深度學習動態的理論理解，還有望發展出實用的診斷工具。例如，通過觀測商空間中的動態模式，研究人員可以提前識別訓練不穩定的跡象，並採取相應調整。這一工作將流體力學中的經典理論與現代機器學習相結合，為跨學科研究開闢了新途徑。論文已被ICANN 2026接收，更多細節可參閲arXiv:2606.18303。