最近、arXivに投稿された研究では、二層ニューラルネットワークにおける「グロッキング」（grokking）現象について、特徴反発メカニズムとパラメータ更新におけるスペクトル特性に焦点を当てた実証分析が行われた。この研究は、Tian（2025）が提唱した反発定理に基づいている。この定理は、グロッキングの相互作用特徴学習段階において、類似した特徴間の行列Bの非対角成分が負になり、実効的な反発力を生じて特徴を分離させることを示している。しかし、この定理は、このメカニズムがいつ経験的に観測可能になるのか、またパラメータ更新に測定可能なスペクトル特性を残すのかについては明らかにしていない。
研究チームは、Tianのモジュラー加算設定（M=71、K=2048、平均二乗誤差損失）を直接用いて実験を行った。その結果、明確な構造-メカニズム乖離が観察された。理論的に予測された符号則は、活性化値の上位200の類似特徴ペアにおいて頑健に成立した：平方活性化では、5つのシードにわたって実証的な符号一致率が0.865から0.985に上昇し、ReLU活性化では1.000に飽和した。
しかし、パラメータ更新におけるスペクトル特性は活性化関数に強く依存していた。平方活性化を使用した場合、ΔWの移動固有値ギャップ（σ2/σ3）に対する単純な傾き検出器が、15/15のグロッキングシードの第174エポック（四分位範囲[173,174]）で作動し、非グロッキング対照群では15件中0件で作動せず、後期段階での大きさの分離は229倍に達し、スペクトルはランク2構造を示した。対照的に、ReLU活性化では検出器は一度も作動せず、スペクトルは実効的にランク1のままであった。
この乖離は、Tianの定理5における集中型（冪乗則）と拡散型（ReLU）記憶の区別と一致している。Bの符号構造は特徴の内積にのみ依存するが、特徴反発がどのように重み更新に変換されるかは、活性化関数の微分σ'に決定的に依存する。この発見は、グロッキング現象における特徴ダイナミクスの複雑さを理解するための新たな視点を提供し、ニューラルネットワークの学習ダイナミクスにおける活性化関数選択の重要性を強調している。