現代の大規模言語モデル（LLM）は、事前学習と文脈内学習（ICL）によって目覚ましい性能を達成しています。しかし、一度展開されると、モデルはほぼ静的であり、固定された知識カットオフ日を持つため、長期的な能力を獲得したり新しい情報に適応したりすることができません。新しいデータでモデルを更新することは明らかな解決策のように思えますが、継続的なパラメータ更新はしばしば破滅的忘却を引き起こします。これは、新しいタスクを学習すると以前に学習したタスクの性能が著しく低下する根本的な問題です。あるいは、ICLにのみ依存すると、知識の保持は即時のコンテキストウィンドウに限定され、コンテキストセッションが終了すると獲得した短期情報は忘れられてしまいます。
人間の脳が休息中に記憶を処理・安定化する方法に触発され、Google Researchのチームは継続学習における「睡眠フレームワーク」を導入しました。これは、LLMに継続的な周期的ライフサイクルを与え、継続的に学習し、脆弱な短期コンテキストを安定した長期パラメータに固定する学習パラダイムです。このフレームワークにより、能動的な対話とオフラインの記憶固定を交互に行うことで、LLMは新しい事実を継続的に獲得し、最大1000万トークンの長文脈知識を保持し、複雑な推論を改善できることが実証されています。
睡眠パラダイムでは、LLMは2つの主要な状態で動作します。能動（覚醒）段階では、モデルは入力を受け取り、処理し、対話し、一時情報を高速な短期記憶コンポーネントに保存します。睡眠段階では、モデルは新しい入力の処理を一時停止し、内部計算を記憶固定と自己改善に向けます。「睡眠」「夢見」「自己改善」といった用語は神経科学から借用していますが、このフレームワークは完全に固定されたモデルアーキテクチャと人間が定義したトレーニングルール内で動作します。オフラインの睡眠段階では、モデルは事前に割り当てられたMixture-of-Experts（MoE）メモリブロックを解放し、自己生成した練習例を使用して数値的重みを更新します。この自動化されたポストトレーニングサイクルにより、展開されたモデルはコアコードベースと設計を変更せずに、新しい事実を吸収し推論精度を高めることができます。
睡眠プロセスは、記憶固定と夢見の2段階を通じて破滅的忘却と継続的適応に対処します。記憶固定は人間の非急速眼動睡眠を模倣し、2つの主要な技術メカニズムで実現されます。パラメータ拡張と連続記憶階層、そして知識播種（上方蒸留）です。破滅的忘却を防ぐため、モデルは睡眠中に容量を動的に拡張します。MoEとHopeアーキテクチャを使用して、新たに解放された低ランク専門家が安定した低頻度記憶ブロックに統合され、古いパラメータを乱すことなく新しい知識を保存します。高頻度層（文脈内記憶など）に保存された脆弱な短期記憶は、一般化知識蒸留（GKD）と強化学習に基づく模倣学習を組み合わせて、新たに拡張された長期パラメータに転送されます。具体的には、オンポリシー蒸留では、拡張された学生モデルが自己サンプリングされたシーケンスで生成された教師分布からトークン固有のフィードバックを学習します。模倣学習（LTI）では、学生モデルが教師生成テキストのプレフィックスを完成させるときに、意味的および絶対的類似性（レーベンシュタイン距離）に基づいて報酬を受け取ります。記憶固定が完了すると、高頻度の一時パラメータはリセットされ、将来の能動セッションのための容量が解放されます。
夢見段階は急速眼動睡眠を模倣し、自律的自己改善ループを実装します。合成データ生成中、MoEルーターは非標準の専門家をランダムに活性化します。これにより、モデルは異なる知識領域を混合し、潜在的なパターンを発見することを余儀なくされます。モデルは合成トレーニングサンプル（「夢」）を生成し、勾配ベースのデータ選択でフィルタリングして、全体的なモデル能力を高める可能性が最も高いサンプルを優先します。次に、モデルは最高評価の夢サンプルで教師あり微調整を行い、生成が下流タスクの性能を改善するかどうかを評価します。
実証結果に加えて、睡眠パラダイムには理論的基盤があり、その2つの段階が新知識と古い能力を単に交換することなく継続学習をサポートできる理由を明らかにしています。記憶固定について、分析は知識播種が構造化された低ランク圧縮問題として理解できることを示しています。モデルは短期痕跡のすべての詳細をパラメータにコピーするのではなく、モデル自身のオンポリシー行動と学習目的によって報酬される意味的品質の両方を最もよく保存するコンパクトな方向セットを特定します。オンポリシー蒸留は、固定をモデルが推論時に実際に生成する軌跡と整合させ、教師生成分布のみでトレーニングする場合に生じる可能性のある不一致を減らします。一方、意味的報酬は保持する価値のある内容を変え、単にトークン確率を一致させるのではなく、意味とタスク関連行動を保存する方向を優先します。パラメータ拡張は、以前に固定された知識を上書きすることなく、これらの選択された記憶を書き込むために必要な容量を提供します。
夢見について、理論はランダムな専門家活性化と報酬ベースのサンプル選択を学習の幾何学を改善するメカニズムとして特徴づけています。異なるMoEを注入することで、合成生成中に探索される勾配方向のセットが広がり、通常の覚醒データだけでは得られない豊富な更新にモデルをさらします。勾配ベースのフィルタリングは、最も有用な学習信号を持つ合成経験を強調し、情報量の多い方向を強化しながら、基礎となる勾配空間の構造を保持します。これらのステップを合わせることで、よりバランスの取れた最適化景観が得られます。学習は少数の方向に支配されにくくなり、勾配の条件が改善され、モデルは能力を洗練する際により安定した進歩を遂げることができます。この観点から、夢見は単なる自己生成データ拡張ではなく、モデルが自己改善する更新を多様化、選択、固定するための意図的なプロセスです。
継続翻訳では、満州語やカラマン語など未知の言語において、睡眠フレームワークは多段階評価でほぼゼロの性能低下を維持しましたが、ICL、Cartridges、教師あり微調整（SFT）などの標準ベースラインは順次学習中に深刻な破滅的忘却に苦しみました。BABILongベンチマークの長文脈理解では、睡眠手法は最大1000万トークンまでほぼ完璧なスケーリングを示し、睡眠時の固定によって長文脈情報を直接パラメトリック記憶に圧縮することで、GPT-4やTitansなどの強力なベースラインを上回りました。SQuADと継続事前学習（CPT）で評価された事実知識の組み込みでは、睡眠手法は単一タスクで48.9%、CPT評価で46.2%を達成し、ベースモデル、SFT、自己適応言語モデル（SEAL）などのベースライン手法を上回り、既存のモデル表現を劣化させることなく新しい事実情報を正常に統合しました。最後に、AIME 24/25やHMMT 25を含む数学推論ベンチマークでは、睡眠で強化されたベースモデルがそれぞれ79.2%、69.0%、46.1%の精度を達成しました。これはSFT、グループ相対ポリシー最適化（GRPO）、オンポリシー自己蒸留（OPSD）などのベースラインを上回り、記憶固定と模倣学習を組み合わせることで優れた推論性能が駆動されることを示しています。
結論として、睡眠パラダイムは自律的で継続的に学習するAIシステムへの道を提供します。静的な事前学習と脆弱なコンテキストウィンドウを超え、能動学習とオフライン休息を交互に行うことで、LLMは短期記憶を保持し、新しいスキルを長期パラメータ構造に抽象化し、破滅的忘却なしに継続的に自己改善することができます。この研究はAli Behrouz（GoogleおよびCornell University）、Farnoosh Hashemi（Cornell University）、Adel Javanmard（GoogleおよびUniversity of Southern California）、Vahab Mirrokniによって実施されました。