重みノルムが「グロッキング」の時間スケールを決定する：因果的遅延則
最新の研究では、学習中に重みノルムに直接介入することで、ニューラルネットワークの「グロッキング」（遅延汎化）において重みノルムが因果的決定要因であることを確認しました。自由訓練では、ネットワークは重みノルムが臨界値Wcに達したときにグロッキングし、Wcはシードや学習率による変動が小さく、モジュラーベースとともにべき乗則で増加します。ノルムをWcの倍数ρに固定すると、遅延はT_grok ∝ exp(αρ)（α≈7.5）に従います。LayerNormを追加するとこの依存性が解消されます。
最近、arXivに掲載された論文「The Weight Norm Sets the Grokking Timescale: A Causal Delay Law」（重みノルムがグロッキングの時間スケールを決定する：因果的遅延則）は、ニューラルネットワークにおける「グロッキング」現象に関する重要な論争に決着をつけました。グロッキングとは、ネットワークが訓練データに完全に適合した後、長い遅延を経て突然汎化し始める現象です。以前は、重みノルムがこの遅延の原因であるかどうかについて議論がありました。ある研究では遷移時に臨界ノルムが観察される一方、別の研究では固定ノルムなしでもグロッキングが起こることが報告されていました。
ベトナムの研究者たちは、ノルムを単に観察するのではなく、訓練中に直接介入することで明確な答えを出しました。自由訓練（体重減少を使用）の下では、ネットワークは重みノルムが特定の値Wcに達したときにグロッキングします。このWc値は異なるランダムシードや学習率でも非常に安定しており（変動係数1〜2％）、モジュラーベース（modular base）とともにべき乗則で増加します。
研究者が重みノルムをWcの倍数ρに固定して保持すると、ネットワークは依然としてグロッキングしますが、遅延時間T_grokはρに対して指数関数的に増加します：T_grok ∝ exp(αρ)。指数αは約7.5で、この式は4つの異なるモジュラスで高い適合度（R²=0.996）を示しました。走査した範囲内では、固定ノルムにより遅延は約19倍変化するのに対し、学習率の変更による影響は約2倍に過ぎませんでした。また、ノルムをWcより高く固定するとグロッキングが遅くなるだけで、防止されるわけではありません。
さらに実験では、ネットワークの最終層にLayerNormを追加すると、重みノルムのグロッキング遅延への依存性が完全に消失することが示されました。LayerNormは重みスケールとネットワーク関数を切り離すためです。LayerNormがない場合、指数則が再び現れます。この研究は、固定ノルムでの指数関数的遅延が、自由訓練で予測される対数的遅延と相補的な関係にあることを示しており、重みノルムのグロッキングにおける因果的役割を明確にしています。
この研究は4つの異なるモジュラス（異なる数学的問題）を用いて実験を行い、結果の汎用性を確保しています。研究成果はグロッキングのメカニズムに関する論争を解決するだけでなく、特に汎化のタイミングを正確に制御する必要がある人工知能応用において、ニューラルネットワークの汎化挙動を理解し制御するための新たな視点を提供します。