速い学習と遅い学習：継続的に適応する大規模言語モデル

本稿では、プロンプト最適化（高速重み）とパラメータ更新（低速重み）を交互に行う「Fast-Slow Training (FST)」という新しいパラダイムを紹介し、数学、コード、汎用推論タスクにおけるLLMの性能を大幅に向上させます。FSTはデータ効率、性能上限、モデルの可塑性、継続学習において重みのみの学習を上回ります。