在一篇新提交于 arXiv 的机器学习论文中，作者 Tiexin Ding 在既有的双参数 Weibull 框架基础上，进一步研究了 Transformer 权重分布在 AdamW 训练过程中为何会呈现出“先增长、再过冲、最后回落”的演化模式。该论文题为《Weibull Weight-Scale Parameter Evolution under AdamW Training Dynamics》，于 2026 年 6 月 11 日提交，属于 cs.LG（机器学习）分类，全文共 21 页、含 14 幅图，代码与数据已在 GitHub 上公开（仓库名为 NPM-Weibull-public）。
研究的核心对象是 Weibull 权重尺度参数 λ。此前的工作已用双参数 Weibull 分布来刻画 Transformer 权重分布，并以此作为诊断工具；而这项工作要回答的问题是：在 AdamW 优化器驱动下，λ 为什么会上升、为何会暂时超过平衡点，随后又如何回落。为解释这一过程，作者从 AdamW 更新公式出发，对权重平方范数做了领头阶的“三力分解”，把影响权重范数变化的因素拆成三个部分：第一是对齐力（alignment force），衡量权重与自适应更新方向之间的相关性；第二是注入力（injection force），来自自适应步长的大小；第三是衰减力（decay force），来自解耦的权重衰减项。
作者在自行训练的 Pythia-70M 模型上进行了实验，这些模型拥有真实的优化器动量信息（ground-truth optimizer moments），因此可以精确计算上述三种力。结果显示，在权重尺度上升阶段，对齐力占据主导地位：在四个随机种子下，对齐力贡献了绝对力预算的 88% 至 94%，并且在移除“超级权重”（super-weight）后依然保持稳健。到了接近饱和的阶段，对齐力与衰减力逐渐趋于平衡，这正好解释了权重尺度从增长转向回落的转折。这些力的动态直接决定了 λ(t) 背后的平方范数分量；至于 RMS 到 Weibull 重建过程中剩余的偏差，则是可测量的，并可进一步拆分为桥接分量（bridge）与积分分量（integration），在密集采样区域内合计约为 5% 至 6%。
为了让分析能够推广到无法获得优化器动量的真实模型，论文提出了一种“样条位移法”（spline displacement method），可以从稀疏的检查点中恢复对齐力，准确率约为 92% 至 94%，大约是朴素两点基线方法的两倍。此外，作者在实验中观察到 λ(t) 的峰值会随训练数据的一致性（coherence）而变化，这暗示权重尺度增长中存在依赖数据的成分；不过作者对这一现象持谨慎态度，将其留待后续受控研究进一步验证，并未在本文中给出定论。总体而言，该工作把优化器动力学与权重分布诊断联系起来，为理解 AdamW 训练中权重尺度的演化提供了可量化的力学解释，同时也明确指出了现有分析的边界与待解问题。