今週のAIシーケンス #875: なぜ言語モデルには昼寝が必要なのか
論文「言語モデルには睡眠が必要」は、LLMが訓練後に学習できなくなる「前向性健忘」に悩まされていると指摘し、記憶を定着させるための睡眠のようなメカニズムを提案している。
最新のAI研究で、「言語モデルには睡眠が必要」と題する論文が注目を集めている。著者のBehrouz、Hashemi、Mirrokni（Googleとコーネル大学）は、現在の大規模言語モデル（LLM）が訓練後は学習を停止し、「賢い化石」のような状態にあると指摘。訓練カットオフ日以降の出来事については完全に知識がなく、新しい情報を長期記憶に変換できない「前向性健忘」の状態にあるという。
この問題に対し、研究者らは生物の睡眠メカニズムにヒントを得た解決策を提案する。生物では睡眠中に短期記憶が長期記憶に変換される。同様に、言語モデルも「睡眠」フェーズを設け、既存知識の再生や再編成を通じて新しい情報をモデルの重みに統合するのだ。このアイデアは、従来の訓練/テスト分割のパラダイムに疑問を投げかけ、継続学習やモデル更新の新たな道を開く可能性がある。
理論段階ではあるが、この論文はAIの見過ごされがちなボトルネックを指摘している。モデルが「覚醒」しているだけでは真の学習は達成できないのかもしれない。もしこのメカニズムが実証されれば、将来のAIは人間のように「睡眠」を通じて経験を消化し、さらに強力になるだろう。