近日，一項發表在arXiv上的研究對雙層神經網路中的“領悟”（grokking）現象進行了深入的實證分析，重點關注了特徵排斥機制及其在引數更新中留下的光譜特徵。該研究基於Tian（2025）提出的排斥定理，該定理指出，在“領悟”的互動特徵學習階段，相似特徵之間的矩陣B的非對角元為負，從而產生有效的排斥力，推動特徵分離。然而，該定理並未明確這一機制何時可經驗觀測，也未說明是否在引數更新中留下可測量的譜特徵。
研究團隊直接使用Tian的模加法設定（M=71，K=2048，均方誤差損失）進行了實驗。他們觀察到一種清晰的結構-機制分離現象。理論預測的符號規則在啟用值的top-200最相似特徵對上表現穩健：使用平方啟用時，實證符號匹配率從0.865上升至0.985（跨5個隨機種子），而ReLU啟用下則飽和至1.000。
然而，引數更新的光譜特徵強烈依賴於啟用函式。當使用平方啟用時，一個簡單的基於滾動特徵間隙（σ2/σ3）的斜率檢測器在15/15個“領悟”種子的第174個訓練週期（四分位距[173,174]）觸發，而在15個非“領悟”對照中從未觸發，且後期幅度分離達到229倍，譜呈秩2結構。相比之下，使用ReLU啟用時，檢測器從未觸發，譜保持有效秩1。
這種分離與Tian定理5中關於聚焦式（冪律）和擴散式（ReLU）記憶的區分一致。儘管B的符號結構僅取決於特徵內積，但特徵排斥如何轉化為權重更新關鍵取決於啟用函式的導數。這一發現為理解“領悟”現象中特徵動力學的複雜性提供了新的視角，並強調了啟用函式選擇在神經網路學習動態中的重要性。