现代大语言模型（LLM）在预训练和上下文学习方面表现卓越，但一旦部署，它们往往就处于静态状态，知识截止日期固定，难以持续获取新能力或适应新信息。直接使用新数据更新模型看似是显而易见的解决方案，但持续的参数更新常常引发灾难性遗忘——学习新任务会严重损害模型在旧任务上的性能。而仅依赖上下文学习，知识保留又受限于即时上下文窗口，会话结束后短期信息便被遗忘。
受人类大脑在休息时处理和巩固记忆的启发，谷歌研究团队引入了一种名为“睡眠框架”的持续学习范式。该框架为LLM赋予连续的周期性生命周期，使其能够不断学习，将脆弱的短期上下文巩固为稳定的长期参数。通过交替进行主动交互和离线记忆巩固，模型可以持续获取新事实、保留长达1000万token的长上下文知识，并提升复杂推理能力。
在睡眠范式下，LLM在两个主要状态间运行：主动（清醒）阶段，模型接收、处理输入并与之交互，将临时信息存储在快速短期记忆组件中；睡眠阶段，模型暂停处理新输入，将内部计算转向记忆巩固和自我提升。尽管“睡眠”“做梦”等术语借自神经科学，但该框架完全在固定模型架构和人类定义的训练规则内运作。在离线睡眠阶段，模型解锁预分配的多专家（MoE）记忆块，并使用自生成的练习示例更新数值权重。这种自动化后训练循环帮助已部署的模型吸收新事实并提高推理准确性，同时保持核心代码库和设计不变。
睡眠过程通过两个阶段解决灾难性遗忘和持续适应问题：记忆巩固和梦境。记忆巩固模仿人类非快速眼动慢波睡眠，通过两个关键技术机制实现：参数扩展与连续记忆层次，以及知识播种（向上蒸馏）。为防止灾难性遗忘，模型在睡眠期间动态扩展容量。利用MoE和Hope架构，新解锁的低秩专家被集成到稳定的低频记忆块中，以存储新知识而不干扰旧参数。高频层（如上下文记忆）中的脆弱短期记忆通过广义知识蒸馏（GKD）结合基于强化学习的模仿学习转移到新扩展的长期参数中。具体包括：同策略蒸馏，扩展后的学生模型从自采样序列生成的教师分布中学习token级反馈；学习模仿（LTI），学生模型在完成教师生成文本的前缀时，根据语义和绝对相似度（Levenshtein距离）获得奖励。一旦记忆巩固完成，高频临时参数被重置，为未来活跃会话释放容量。
梦境阶段则模仿快速眼动睡眠，实现自主自我提升循环。在合成数据生成过程中，MoE路由器随机激活非标准专家，迫使模型混合不同领域的知识并发现潜在模式。模型生成合成训练样本（“梦境”），并使用基于梯度的数据选择进行过滤，优先选择最有可能提升整体模型能力的样本。然后，模型对排名最高的梦境样本进行监督微调，并评估生成是否改善下游任务性能。
除了实证结果，睡眠范式还有理论基础，阐明其两个阶段为何能支持持续学习而不牺牲旧能力。对于记忆巩固，分析表明知识播种可理解为结构化的低秩压缩问题。模型不需要将短期痕迹的每个细节复制到参数中，而是识别一组紧凑的方向，以最好地保留模型自身的同策略行为和奖励所鼓励的语义质量。同策略蒸馏使巩固与模型在推理时实际产生的轨迹对齐，减少仅训练教师生成分布时可能出现的失配；语义奖励则改变值得保留的内容，优先考虑保留意义和任务相关行为的方向，而不仅仅是匹配token概率。参数扩展提供了写入这些选定记忆所需的容量，而不会覆盖先前巩固的知识。
对于梦境，理论将随机专家激活和基于奖励的样本选择描述为改善学习几何的机制。注入不同的MoE拓宽了合成生成过程中探索的梯度方向集，使模型接触到比普通清醒数据更丰富的更新集合。基于梯度的过滤则强调携带最有价值学习信号的合成经验，加强信息方向，同时保留底层梯度空间的结构。这些步骤共同产生更平衡的优化景观：学习较少受少数方向支配，梯度条件更好，模型在精炼能力时能取得更稳定的进展。从这个角度看，梦境不仅仅是自生成数据增强，而是一个有意识地多样化、选择和巩固模型自我改进更新的过程。
在持续翻译方面，对于未见过的语言（如满语和卡拉芒语），睡眠框架在多阶段评估中保持了近乎零的性能下降，而ICL、Cartridges和监督微调（SFT）等标准基线在顺序学习中遭受了严重的灾难性遗忘。在BABILong基准的长上下文理解中，睡眠方法展示了高达1000万token的近完美扩展，通过睡眠时巩固将长上下文信息直接压缩到参数记忆中，优于GPT-4和Titans等强基线。在SQuAD和持续预训练（CPT）评估的事实知识融入中，睡眠方法在单任务上达到48.9%，在CPT评估中达到46.2%，超越了包括基础模型、SFT和自适应语言模型（SEAL）在内的基线方法，成功整合新事实信息而不降低现有模型表示。最后，在包括AIME 24/25和HMMT 25的数学推理基准上，睡眠增强的基础模型分别达到79.2%、69.0%和46.1%的准确率，优于SFT、组相对策略优化（GRPO）和同策略自蒸馏（OPSD）等基线，表明将记忆巩固与模仿学习相结合可驱动卓越的推理性能。
总之，睡眠范式为自主、持续学习的AI系统提供了一条路径。通过超越静态预训练和脆弱的上下文窗口，交替进行主动学习和离线休息，使LLM能够保留短期记忆，将新技能抽象为长期参数结构，并在不发生灾难性遗忘的情况下持续自我改进。该研究由Ali Behrouz（谷歌和康奈尔大学）、Farnoosh Hashemi（康奈尔大学）、Adel Javanmard（谷歌和南加州大学）和Vahab Mirrokni共同完成。