随机梯度下降的频率偏差与Adam如何解决它

现代语言模型因token分布极不均匀面临优化挑战：常见token的参数频繁接收梯度更新，而罕见token的参数可能数百步无有效信号。标准SGD以相同学习率更新所有参数，导致罕见token权重难以学习。Adam通过方差归一化自动为罕见token提供更大的有效学习率，使其快速收敛。在控制实验中，使用频率跨四个数量级的六个token，SGD对最罕见token的权重仅学到0.15（真实值为1.0），而Adam使其接近1.0。