近日，研究者提出了一種名為MetaAdamW的新型最佳化器，旨在解決現有自適應最佳化器（如AdamW）對所有引數組使用統一超引數、忽視不同層和模組最佳化動態差異的問題。MetaAdamW透過整合自注意力機制，動態調節每個引數組的學習率和權重衰減。
該最佳化器的核心是一個輕量級Transformer編碼器，它處理從每個引數組提取的統計特徵（包括梯度範數、動量範數及相關性），並輸出調變因子。為了訓練注意力模組，作者設計了一個元學習目標，結合了梯度對齊、損失降低和泛化差距。此外，一項關鍵創新是擴充套件了同方差不確定性加權（HUW），引入任務特定優先順序來直接縮放正則化項，使領域知識能夠指導自動損失平衡。
研究者在五個不同任務上進行了廣泛實驗：時間序列預測（ETT）、語言建模（WikiText-2）、機器翻譯（Multi30k）、影像分類（CIFAR-10）和情感分析（IMDB）。結果表明，MetaAdamW在驗證損失、準確率或困惑度方面一致優於標準AdamW基線。根據任務不同，MetaAdamW要麼將總訓練時間減少最多17.11%，要麼將效能提升最多11.08%，同時僅引入中等開銷。在某些情況下，它還能緩解因過早停止導致的收斂不充分問題。消融研究驗證了各元件（包括特徵版本、分組策略和提出的優先順序注入不確定性加權）的有效性。
MetaAdamW的設計靈感來源於對深度神經網路中不同層和模組最佳化動態差異的觀察。傳統最佳化器如AdamW對所有引數組使用相同的學習率和權重衰減，忽略了網路不同部分可能需要不同的更新幅度和正則化強度。例如，底層特徵提取器可能需要較小的學習率以避免災難性遺忘，而頂層分類器則需要較大的學習率以快速適應。MetaAdamW透過自注意力機制自動捕捉這些差異，為每個引數組生成定製化的超引數。
實驗配置方面，研究者在每個任務上都進行了細緻的調優。例如，在時間序列預測任務中，使用了ETT資料集，評估了預測誤差；在語言建模任務中，使用了WikiText-2資料集，衡量了困惑度；在機器翻譯任務中，使用了Multi30k資料集，計算了BLEU分數；在影像分類任務中，使用了CIFAR-10資料集，報告了準確率；在情感分析任務中，使用了IMDB資料集，測量了分類準確率。在所有情況下，MetaAdamW均表現出穩定的優勢。
效能提升的具體資料令人印象深刻：在時間序列預測任務中，MetaAdamW將訓練時間縮短了約15%，同時保持了相當的預測精度；在語言建模任務中，它在不增加訓練時間的情況下將困惑度降低了約8%；在機器翻譯任務中，BLEU分數提升了近2個百分點；在影像分類任務中，準確率提高了約0.5%；在情感分析任務中，準確率提升了約1%。這些結果證明了MetaAdamW的通用性和有效性。