大規模言語モデル(LLM)の訓練と展開の実践において、一般的な流れは段階的にモデルを適応させることである。まず、モデルは公開データセットで技能訓練を受け、汎用的な言語理解と生成能力を学習する。次に、プライベート記憶段階に入り、特定のエンティティに関する記憶(例えば、企業内部データやユーザーの個人情報)が注入される。最後に、コンプライアンスのために、モデルは安全訓練を受け、記憶されたエンティティに関連する出力を拒否することを学習する。しかし、学習された記憶を取り消す必要が生じた場合(例えば、ユーザーがデータ削除を要求した場合)、単純なパラメータ減算、つまり現在のパラメータから記憶段階で追加された更新を差し引くだけでは効果的に機能しない。なぜなら、後続の安全訓練最適化プロセスが元の記憶ベクトルの方向を変更してしまい、直接的な減算では正確に記憶を除去できないからである。
この課題に対処するため、研究者らは「プロセスサイドカー」(Process Sidecars)と呼ばれる新しい手法を提案した。この手法の核心は2係数編集族であり、その数式は次のように表される:θ̂(λ,γ)=θ_AMS - λΔ_M - γR̂_{S←M}。ここで、θ_AMSは安全訓練後のモデルパラメータ、Δ_Mは記憶編集の方向ベクトル、R̂_{S←M}は将来の安全訓練プロセスから計算される割線近似であり、具体的にはR̂_{S←M}=ĵ_{S,ε}(Δ_M)-Δ_Mと定義される。ĵ_{S,ε}は実際のAdamW安全訓練軌跡から抽出された中心割線である。実装ではε=1(自然な記憶編集スケール)を使用し、θ_AMSを正の端点として再利用し、θ_A - Δ_Mで追加の安全軌跡を1つ計算する。
本論文は2つの重要な理論的証明を提供する。第一に、正確な輸送方向R_{S←M}(割線近似ではなく)を使用する場合、係数(λ,γ)を(1,1)に設定すると、プロセスサイドカーは反事実的安全モデルθ_AS(記憶編集を行わず安全訓練のみを行った場合のモデル)を2次精度で回復する。この証明は、AdamWオプティマイザーをパラメータ、一次モーメント、二次モーメントに対する拡張状態写像として扱う。第二に、このプロセス情報の必要性が証明される。将来の安全訓練が記憶方向を曲げる場合、すべてのスカラータスク算術編集(単純な加算や減算など)は一次の反事実誤差を残すが、プロセスサイドカー編集は二次精度である。これは、プロセスサイドカーが理論的に顕著な優位性を持つことを意味する。
手法の実際の効果を検証するため、研究者らは3つの異なる言語モデルで実験を行った。実験設定では、モデルはまず記憶段階を経て、その後安全訓練を受ける。その後、プロセスサイドカーとベースライン手法(単純なタスク算術およびγ=λの簡略化版であるプロセス-JVPサブファミリー)を用いて記憶の取り消しを試みる。評価指標は保持セットにおける拒否閉包性(refusal closure)、つまりモデルが記憶関連コンテンツの出力を正しく拒否する割合である。結果は、検証セットで最適な二次元編集(λとγの最適化)を選択することにより、プロセスサイドカーがすべての試験で単純なタスク算術を上回ることを示した。さらに、プロセス-JVPサブファミリーとのペア比較でも、プロセスサイドカーはすべての試験で勝った。これらの結果は、プロセスサイドカーが言語モデルの安全な展開において、学習状態の取り消しを実現する実用的で理論的に裏付けられた手法であることを強く支持している。