本論文は、Transformerモデルの重み分布を診断するための2パラメータWeibullフレームワークに基づき、AdamWトレーニング中にWeibull重みスケールパラメータλがなぜ成長し、オーバーシュートし、その後緩和するのかを研究している。著者Tiexin Dingは、AdamWの更新則から平方重みノルムの主要項三力分解を導出した。すなわち、重みと適応更新方向の相関を測るアラインメント力、適応ステップ幅からの注入力、分離された重み減衰からの減衰力である。
自己学習したPythia-70Mモデルでは、真のオプティマイザモーメントが利用可能であるため、これらの力を正確に計算できる。実験の結果、重みスケールの上昇フェーズではアラインメント力が支配的であり、4つのランダムシードにわたって絶対力予算の88%から94%を貢献し、超重み（super-weight）を除去してもこの結論は頑健であることが示された。飽和に近づくと、アラインメント力と減衰力が釣り合いに近づき、重みスケールの成長から緩和への移行を説明する。これらの力のダイナミクスはλ(t)の基礎となる平方ノルム成分を直接支配する。残りのRMSからWeibullへの再構成オフセットは測定可能であり、ブリッジ成分と積分成分に分解され、密にサンプリングされた領域では合計約5-6%となる。
オプティマイザモーメントが利用できない実際のモデルに分析を拡張するため、著者はスプライン変位法を導入した。これはスパースなチェックポイントからアラインメント力を約92-94%の精度で復元するもので、ナイーブな2点ベースラインの約2倍の精度である。さらに、λ(t)のピーク値がトレーニングデータのコヒーレンスによって変化することを観察し、重みスケール成長にデータ依存成分があることを示唆しているが、これは制御された追跡研究に委ねられている。コードとデータはGitHubで公開されている。本研究は、AdamWトレーニングにおける重み分布の進化を理解するための新たな力学的視点を提供し、実用的なモーメント推定手法を提示している。