噪声驱动逃离亚稳态阶段解释深度神经网络中的“悟道”现象
该研究通过线性深度神经网络模型，揭示了“悟道”（grokking）现象与L2正则化引起的一阶相变中的滞后效应有关。当模型陷入低准确率的亚稳态时，仅当随机梯度下降（SGD）噪声提供足够能量跨越势垒时，才会逃离并实现泛化，逃离时间遵循阿伦尼乌斯标度。研究还表明亚稳态数量等于可学习特征数量，为开发更高效的学习方案提供了新途径。
近日，一篇发表在arXiv上的论文《噪声驱动逃离亚稳态阶段解释深度神经网络中的“悟道”现象》为理解深度学习中的“悟道”（grokking）现象提供了新的理论框架。该现象表现为网络在长时间过拟合后突然出现泛化能力，其机制长期未明。研究团队通过线性深度神经网络模型，将悟道与L2正则化强度变化引起的一阶相变中的滞后效应联系起来。
论文指出，深度神经网络在L2正则化强度变化时表现出类似一级相变的行为，每个相变对应一个新可学习特征的涌现。当正则化强度低于临界值时，所有特征原则上可学习，但系统会陷入由能量势垒分隔的亚稳态，阻碍收敛。研究者发现，通过刻意利用L2正则化制造亚稳态，模型在低准确率状态下停滞，只有随机梯度下降（SGD）的噪声提供足够能量才能驱动其跨越势垒，逃脱时间遵循阿伦尼乌斯标度。他们成功在逃逸时间跨越两个数量级的情况下重现了类似悟道的延迟收敛现象，并通过稀疏子采样复现了典型的悟道曲线——测试误差最终接近训练误差。
具体来说，研究者通过理论分析和数值模拟表明，当模型处于低准确率的亚稳态时，其逃逸时间与能量势垒的高度呈指数关系，符合阿伦尼乌斯定律。这一发现将悟道现象与统计物理中的经典理论联系起来，为深度学习领域引入了一种全新的视角。此外，论文还指出，亚稳态的数量等于可学习特征的数量，即数据协方差矩阵的每一个奇异值对应一个亚稳态，这意味着任务的复杂度越高，滞后潜力自然越大。团队通过稀疏子采样实验成功复现了典型的悟道曲线，即测试误差在长时间过拟合后突然下降至与训练误差相近的水平。进一步地，作者提供了初步证据表明这一机制在非线性深度神经网络中同样成立，从而拓展了该理论的适用范围。
研究进一步表明，亚稳态的数量等于可学习特征的数量，即数据协方差矩阵的每一个奇异值对应一个亚稳态，且滞后潜力随任务复杂度自然增长。团队还提供了证据，表明该机制很可能同样适用于一般非线性深度神经网络。这一发现不仅解释了悟道的起源，还为设计更高效的学习算法提供了新思路，例如通过调控噪声或正则化来加速逃离亚稳态。
这项研究由Ibrahim Talha Ersoy等人完成，已被HiLD 2026研讨会接收。论文详细讨论了线性深度神经网络中的相变行为，并提供了数值实验验证。该工作对于理解深度学习中的泛化动力学和设计更高效的训练策略具有重要意义。