学习，快与慢：持续适应的大语言模型

本文介绍了一种名为“快慢训练”（FST）的新范式，通过将提示优化作为“快速权重”与参数更新作为“慢速权重”交替进行，显著提升了大语言模型在数学、代码和通用推理任务上的性能。FST在数据效率、性能上限、模型可塑性和持续学习方面均优于纯权重训练方法。