確率的勾配降下法の頻度バイアスとAdamによる解決法

現代の言語モデルは、トークン分布が極めて不均一であるため、最適化上の課題に直面しています。一般的なトークンに関連するパラメータは頻繁に勾配更新を受けますが、稀なトークンのパラメータは何百ステップも有意な信号を受け取れないことがあります。標準SGDは全てのパラメータに同じ学習率を使用するため、稀なトークンの重みは初期値付近に留まります。Adamの分散正規化は、過小表現された特徴に対して自動的に大きな実効学習率を与え、高速な収束を可能にします。頻度が4桁にわたる6トークンの語彙を用いた制御実験では、SGDが最も稀なトークンの重みを0.15（真値1.0）にしか学習できないのに対し、Adamは全ての稀なトークンの重みを1.0近くに維持することが示されました。