學習，快與慢：持續適應的大語言模型

本文介紹了一種名為“快慢訓練”（FST）的新範式，通過將提示優化作為“快速權重”與參數更新作為“慢速權重”交替進行，顯著提升了大語言模型在數學、代碼和通用推理任務上的性能。FST在數據效率、性能上限、模型可塑性和持續學習方面均優於純權重訓練方法。