近日，研究者提出了一种名为MetaAdamW的新型优化器，旨在解决现有自适应优化器（如AdamW）对所有参数组使用统一超参数、忽视不同层和模块优化动态差异的问题。MetaAdamW通过集成自注意力机制，动态调节每个参数组的学习率和权重衰减。
该优化器的核心是一个轻量级Transformer编码器，它处理从每个参数组提取的统计特征（包括梯度范数、动量范数及相关性），并输出调制因子。为了训练注意力模块，作者设计了一个元学习目标，结合了梯度对齐、损失降低和泛化差距。此外，一项关键创新是扩展了同方差不确定性加权（HUW），引入任务特定优先级来直接缩放正则化项，使领域知识能够指导自动损失平衡。
研究者在五个不同任务上进行了广泛实验：时间序列预测（ETT）、语言建模（WikiText-2）、机器翻译（Multi30k）、图像分类（CIFAR-10）和情感分析（IMDB）。结果表明，MetaAdamW在验证损失、准确率或困惑度方面一致优于标准AdamW基线。根据任务不同，MetaAdamW要么将总训练时间减少最多17.11%，要么将性能提升最多11.08%，同时仅引入中等开销。在某些情况下，它还能缓解因过早停止导致的收敛不充分问题。消融研究验证了各组件（包括特征版本、分组策略和提出的优先级注入不确定性加权）的有效性。
MetaAdamW的设计灵感来源于对深度神经网络中不同层和模块优化动态差异的观察。传统优化器如AdamW对所有参数组使用相同的学习率和权重衰减，忽略了网络不同部分可能需要不同的更新幅度和正则化强度。例如，底层特征提取器可能需要较小的学习率以避免灾难性遗忘，而顶层分类器则需要较大的学习率以快速适应。MetaAdamW通过自注意力机制自动捕捉这些差异，为每个参数组生成定制化的超参数。
实验配置方面，研究者在每个任务上都进行了细致的调优。例如，在时间序列预测任务中，使用了ETT数据集，评估了预测误差；在语言建模任务中，使用了WikiText-2数据集，衡量了困惑度；在机器翻译任务中，使用了Multi30k数据集，计算了BLEU分数；在图像分类任务中，使用了CIFAR-10数据集，报告了准确率；在情感分析任务中，使用了IMDB数据集，测量了分类准确率。在所有情况下，MetaAdamW均表现出稳定的优势。
性能提升的具体数据令人印象深刻：在时间序列预测任务中，MetaAdamW将训练时间缩短了约15%，同时保持了相当的预测精度；在语言建模任务中，它在不增加训练时间的情况下将困惑度降低了约8%；在机器翻译任务中，BLEU分数提升了近2个百分点；在图像分类任务中，准确率提高了约0.5%；在情感分析任务中，准确率提升了约1%。这些结果证明了MetaAdamW的通用性和有效性。