大規模言語モデル（LLM）を微調整すると、しばしば以前の能力が著しく損なわれる「破滅的忘却」が発生する。最近の研究では、強化学習（RL）が教師あり微調整（SFT）よりも事前能力を保持しやすいことが示され、その理由としてポリシー勾配更新がベースポリシーに近い状態を維持することが挙げられていた。しかし、この行動レベルの説明をメカニズムレベルに拡張し、RLの優位性が内部計算回路の保持にも反映されるかどうかは明らかでなかった。
これに答えるため、Jeanmely Rojas Nunez氏ら7名の著者による論文「Mechanistic origins of catastrophic forgetting: why RL preserves circuits better than SFT?」は、新たな指標「差分回路脆弱性」を導入した。これは、微調整によって回路がどの程度劣化するかをヘッドレベルで測定するものである。研究チームはこの指標を用いて、Qwen2.5-3B-Instructを科学質問応答タスクに適応させる際のRLとSFTの効果を比較した。
実験の結果、明確なメカニズム的トレードオフが明らかになった。SFTはターゲットタスクに迅速に適応する一方で、回路の破壊が著しく、事前能力の忘却も大きい。対照的に、RLはタスク適応が遅いというコストを払うものの、ベース回路のより大きな割合を保持する。このことは、回路の保持がRLの破滅的忘却に対する堅牢性を説明する一要因である可能性を示唆している。
この研究は、適応速度と安定性の間の根本的なトレードオフを浮き彫りにし、微調整手法の設計における回路保持の重要性を強調する。著者らはコードを公開しており、今後の追試や発展的研究が期待される。論文は2026年5月21日にarXivに投稿され、機械学習（cs.LG）のカテゴリに属し、人工知能（cs.AI）や計算言語学（cs.CL）にも関連する。