近日，一项发表在arXiv上的研究对双层神经网络中的“领悟”（grokking）现象进行了深入的实证分析，重点关注了特征排斥机制及其在参数更新中留下的光谱特征。该研究基于Tian（2025）提出的排斥定理，该定理指出，在“领悟”的交互特征学习阶段，相似特征之间的矩阵B的非对角元为负，从而产生有效的排斥力，推动特征分离。然而，该定理并未明确这一机制何时可经验观测，也未说明是否在参数更新中留下可测量的谱特征。
研究团队直接使用Tian的模加法设定（M=71，K=2048，均方误差损失）进行了实验。他们观察到一种清晰的结构-机制分离现象。理论预测的符号规则在激活值的top-200最相似特征对上表现稳健：使用平方激活时，实证符号匹配率从0.865上升至0.985（跨5个随机种子），而ReLU激活下则饱和至1.000。
然而，参数更新的光谱特征强烈依赖于激活函数。当使用平方激活时，一个简单的基于滚动特征间隙（σ2/σ3）的斜率检测器在15/15个“领悟”种子的第174个训练周期（四分位距[173,174]）触发，而在15个非“领悟”对照中从未触发，且后期幅度分离达到229倍，谱呈秩2结构。相比之下，使用ReLU激活时，检测器从未触发，谱保持有效秩1。
这种分离与Tian定理5中关于聚焦式（幂律）和扩散式（ReLU）记忆的区分一致。尽管B的符号结构仅取决于特征内积，但特征排斥如何转化为权重更新关键取决于激活函数的导数。这一发现为理解“领悟”现象中特征动力学的复杂性提供了新的视角，并强调了激活函数选择在神经网络学习动态中的重要性。