近年、研究者らはMetaAdamWという新しい最適化器を提案した。これは、既存の適応的最適化器（AdamWなど）がすべてのパラメータグループに均一なハイパーパラメータを適用し、層やモジュール間の異種最適化ダイナミクスを無視している問題に対処するものである。MetaAdamWは自己注意メカニズムを統合し、グループごとの学習率と重み減衰を動的に調整する。
この最適化器の中核は、各パラメータグループから抽出された統計的特徴（勾配ノルム、運動量ノルム、相関）を処理する軽量Transformerエンコーダであり、変調因子を出力する。注意モジュールを訓練するために、著者らは勾配アライメント、損失減少、汎化ギャップを組み合わせたメタ学習目的関数を導入した。さらに、重要な新規貢献として、タスク固有の優先度で正則化項を直接スケーリングする同分散不確実性重み付け（HUW）の拡張があり、ドメイン知識が自動損失バランスを導くことを可能にする。
研究者らは、時系列予測（ETT）、言語モデリング（WikiText-2）、機械翻訳（Multi30k）、画像分類（CIFAR-10）、感情分析（IMDB）の5つの多様なタスクで広範な実験を行った。結果は、MetaAdamWが検証損失、精度、またはパープレキシティにおいて標準のAdamWベースラインを一貫して上回ることを示した。タスクに応じて、MetaAdamWは全体的なトレーニング時間を最大17.11%削減するか、性能を最大11.08%向上させ、中程度のオーバーヘッドしか導入しない。場合によっては、早期停止による不十分な収束の問題も緩和できる。アブレーション研究は、特徴バージョン、グループ化戦略、および提案された優先度注入不確実性重み付けを含む各コンポーネントの有効性を検証している。
MetaAdamWの設計は、深層ニューラルネットワークにおける層やモジュールごとの最適化ダイナミクスの違いに着想を得ている。従来の最適化器（AdamWなど）は、すべてのパラメータグループに同じ学習率と重み減衰を適用するため、ネットワークの各部分が異なる更新幅や正則化強度を必要とする可能性を無視している。例えば、低層の特徴抽出器は破滅的忘却を避けるために小さな学習率を、一方で高層の分類器は迅速な適応のために大きな学習率を必要とするかもしれない。MetaAdamWは自己注意メカニズムによりこれらの違いを自動的に捉え、各グループにカスタマイズされたハイパーパラメータを生成する。
実験設定は各タスクで注意深く調整された。例えば、時系列予測タスクではETTデータセットを使用し予測誤差を評価、言語モデリングではWikiText-2でパープレキシティを測定、機械翻訳ではMulti30kでBLEUスコアを計算、画像分類ではCIFAR-10で精度を報告、感情分析ではIMDBで分類精度を測定した。すべての場合において、MetaAdamWは一貫した優位性を示した。
具体的な性能向上の数値は印象的である：時系列予測ではトレーニング時間が約15%短縮されつつ予測精度は維持、言語モデリングではトレーニング時間を増加させずにパープレキシティが約8%低下、機械翻訳ではBLEUスコアが約2ポイント向上、画像分類では精度が約0.5%向上、感情分析では精度が約1%向上した。これらの結果はMetaAdamWの汎用性と有効性を証明している。