學習，快與慢：持續適應的大語言模型

本文介紹了一種名為“快慢訓練”（FST）的新正規化，透過將提示最佳化作為“快速權重”與引數更新作為“慢速權重”交替進行，顯著提升了大語言模型在數學、程式碼和通用推理任務上的效能。FST在資料效率、效能上限、模型可塑性和持續學習方面均優於純權重訓練方法。