隨機梯度下降的頻率偏差與Adam如何解決它

現代語言模型因token分佈極不均勻面臨最佳化挑戰：常見token的引數頻繁接收梯度更新，而罕見token的引數可能數百步無有效訊號。標準SGD以相同學習率更新所有引數，導致罕見token權重難以學習。Adam透過方差歸一化自動為罕見token提供更大的有效學習率，使其快速收斂。在控制實驗中，使用頻率跨四個數量級的六個token，SGD對最罕見token的權重僅學到0.15（真實值為1.0），而Adam使其接近1.0。