近日，研究者提出了一種名為MetaAdamW的新型優化器，旨在解決現有自適應優化器（如AdamW）對所有參數組使用統一超參數、忽視不同層和模塊優化動態差異的問題。MetaAdamW通過集成自注意力機制，動態調節每個參數組的學習率和權重衰減。
該優化器的核心是一個輕量級Transformer編碼器，它處理從每個參數組提取的統計特徵（包括梯度範數、動量範數及相關性），並輸出調製因子。為了訓練注意力模塊，作者設計了一個元學習目標，結合了梯度對齊、損失降低和泛化差距。此外，一項關鍵創新是擴展了同方差不確定性加權（HUW），引入任務特定優先級來直接縮放正則化項，使領域知識能夠指導自動損失平衡。
研究者在五個不同任務上進行了廣泛實驗：時間序列預測（ETT）、語言建模（WikiText-2）、機器翻譯（Multi30k）、圖像分類（CIFAR-10）和情感分析（IMDB）。結果表明，MetaAdamW在驗證損失、準確率或困惑度方面一致優於標準AdamW基線。根據任務不同，MetaAdamW要麼將總訓練時間減少最多17.11%，要麼將性能提升最多11.08%，同時僅引入中等開銷。在某些情況下，它還能緩解因過早停止導致的收斂不充分問題。消融研究驗證了各組件（包括特徵版本、分組策略和提出的優先級注入不確定性加權）的有效性。
MetaAdamW的設計靈感來源於對深度神經網絡中不同層和模塊優化動態差異的觀察。傳統優化器如AdamW對所有參數組使用相同的學習率和權重衰減，忽略了網絡不同部分可能需要不同的更新幅度和正則化強度。例如，底層特徵提取器可能需要較小的學習率以避免災難性遺忘，而頂層分類器則需要較大的學習率以快速適應。MetaAdamW通過自注意力機制自動捕捉這些差異，為每個參數組生成定製化的超參數。
實驗配置方面，研究者在每個任務上都進行了細緻的調優。例如，在時間序列預測任務中，使用了ETT數據集，評估了預測誤差；在語言建模任務中，使用了WikiText-2數據集，衡量了困惑度；在機器翻譯任務中，使用了Multi30k數據集，計算了BLEU分數；在圖像分類任務中，使用了CIFAR-10數據集，報告了準確率；在情感分析任務中，使用了IMDB數據集，測量了分類準確率。在所有情況下，MetaAdamW均表現出穩定的優勢。
性能提升的具體數據令人印象深刻：在時間序列預測任務中，MetaAdamW將訓練時間縮短了約15%，同時保持了相當的預測精度；在語言建模任務中，它在不增加訓練時間的情況下將困惑度降低了約8%；在機器翻譯任務中，BLEU分數提升了近2個百分點；在圖像分類任務中，準確率提高了約0.5%；在情感分析任務中，準確率提升了約1%。這些結果證明了MetaAdamW的通用性和有效性。