現代大語言模型（LLM）在預訓練和上下文學習方面表現卓越，但一旦部署，它們往往就處於靜態狀態，知識截止日期固定，難以持續獲取新能力或適應新資訊。直接使用新資料更新模型看似是顯而易見的解決方案，但持續的引數更新常常引發災難性遺忘——學習新任務會嚴重損害模型在舊任務上的效能。而僅依賴上下文學習，知識保留又受限於即時上下文視窗，會話結束後短期資訊便被遺忘。
受人類大腦在休息時處理和鞏固記憶的啟發，谷歌研究團隊引入了一種名為“睡眠框架”的持續學習正規化。該框架為LLM賦予連續的週期性生命週期，使其能夠不斷學習，將脆弱的短期上下文鞏固為穩定的長期引數。透過交替進行主動互動和離線記憶鞏固，模型可以持續獲取新事實、保留長達1000萬token的長上下文知識，並提升複雜推理能力。
在睡眠正規化下，LLM在兩個主要狀態間執行：主動（清醒）階段，模型接收、處理輸入並與之互動，將臨時資訊儲存在快速短期記憶元件中；睡眠階段，模型暫停處理新輸入，將內部計算轉向記憶鞏固和自我提升。儘管“睡眠”“做夢”等術語借自神經科學，但該框架完全在固定模型架構和人類定義的訓練規則內運作。在離線睡眠階段，模型解鎖預分配的多專家（MoE）記憶塊，並使用自生成的練習示例更新數值權重。這種自動化後訓練迴圈幫助已部署的模型吸收新事實並提高推理準確性，同時保持核心程式碼庫和設計不變。
睡眠過程透過兩個階段解決災難性遺忘和持續適應問題：記憶鞏固和夢境。記憶鞏固模仿人類非快速眼動慢波睡眠，透過兩個關鍵技術機制實現：引數擴充套件與連續記憶層次，以及知識播種（向上蒸餾）。為防止災難性遺忘，模型在睡眠期間動態擴充套件容量。利用MoE和Hope架構，新解鎖的低秩專家被整合到穩定的低頻記憶塊中，以儲存新知識而不干擾舊引數。高頻層（如上下文記憶）中的脆弱短期記憶透過廣義知識蒸餾（GKD）結合基於強化學習的模仿學習轉移到新擴充套件的長期引數中。具體包括：同策略蒸餾，擴充套件後的學生模型從自取樣序列生成的教師分佈中學習token級反饋；學習模仿（LTI），學生模型在完成教師生成文本的字首時，根據語義和絕對相似度（Levenshtein距離）獲得獎勵。一旦記憶鞏固完成，高頻臨時引數被重置，為未來活躍會話釋放容量。
夢境階段則模仿快速眼動睡眠，實現自主自我提升迴圈。在合成資料生成過程中，MoE路由器隨機啟用非標準專家，迫使模型混合不同領域的知識並發現潛在模式。模型生成合成訓練樣本（“夢境”），並使用基於梯度的資料選擇進行過濾，優先選擇最有可能提升整體模型能力的樣本。然後，模型對排名最高的夢境樣本進行監督微調，並評估生成是否改善下游任務效能。
除了實證結果，睡眠正規化還有理論基礎，闡明其兩個階段為何能支援持續學習而不犧牲舊能力。對於記憶鞏固，分析表明知識播種可理解為結構化的低秩壓縮問題。模型不需要將短期痕跡的每個細節複製到引數中，而是識別一組緊湊的方向，以最好地保留模型自身的同策略行為和獎勵所鼓勵的語義質量。同策略蒸餾使鞏固與模型在推理時實際產生的軌跡對齊，減少僅訓練教師生成分佈時可能出現的失配；語義獎勵則改變值得保留的內容，優先考慮保留意義和任務相關行為的方向，而不僅僅是匹配token機率。引數擴充套件提供了寫入這些選定記憶所需的容量，而不會覆蓋先前鞏固的知識。
對於夢境，理論將隨機專家啟用和基於獎勵的樣本選擇描述為改善學習幾何的機制。注入不同的MoE拓寬了合成生成過程中探索的梯度方向集，使模型接觸到比普通清醒資料更豐富的更新集合。基於梯度的過濾則強調攜帶最有價值學習訊號的合成經驗，加強資訊方向，同時保留底層梯度空間的結構。這些步驟共同產生更平衡的最佳化景觀：學習較少受少數方向支配，梯度條件更好，模型在精煉能力時能取得更穩定的進展。從這個角度看，夢境不僅僅是自生成資料增強，而是一個有意識地多樣化、選擇和鞏固模型自我改進更新的過程。
在持續翻譯方面，對於未見過的語言（如滿語和卡拉芒語），睡眠框架在多階段評估中保持了近乎零的效能下降，而ICL、Cartridges和監督微調（SFT）等標準基線在順序學習中遭受了嚴重的災難性遺忘。在BABILong基準的長上下文理解中，睡眠方法展示了高達1000萬token的近完美擴充套件，透過睡眠時鞏固將長上下文資訊直接壓縮到引數記憶中，優於GPT-4和Titans等強基線。在SQuAD和持續預訓練（CPT）評估的事實知識融入中，睡眠方法在單任務上達到48.9%，在CPT評估中達到46.2%，超越了包括基礎模型、SFT和自適應語言模型（SEAL）在內的基線方法，成功整合新事實資訊而不降低現有模型表示。最後，在包括AIME 24/25和HMMT 25的數學推理基準上，睡眠增強的基礎模型分別達到79.2%、69.0%和46.1%的準確率，優於SFT、組相對策略最佳化（GRPO）和同策略自蒸餾（OPSD）等基線，表明將記憶鞏固與模仿學習相結合可驅動卓越的推理效能。
總之，睡眠正規化為自主、持續學習的AI系統提供了一條路徑。透過超越靜態預訓練和脆弱的上下文視窗，交替進行主動學習和離線休息，使LLM能夠保留短期記憶，將新技能抽象為長期引數結構，並在不發生災難性遺忘的情況下持續自我改進。該研究由Ali Behrouz（谷歌和康奈爾大學）、Farnoosh Hashemi（康奈爾大學）、Adel Javanmard（谷歌和南加州大學）和Vahab Mirrokni共同完成。