在大型語言模型（LLM）的訓練與部署實踐中，一個常見的流程是分階段進行模型適應。首先，模型在一個公開資料集上進行技能訓練，學習通用的語言理解和生成能力。接著，進入私有記憶階段，模型被注入特定實體的記憶，例如公司內部資料或使用者個人資訊。最後，為了合規性，模型經歷安全訓練，學習拒絕輸出與這些記憶實體相關的內容。然而，當需要撤銷已學習的記憶時（例如，使用者要求刪除資料），簡單的引數減法——即從當前引數中減去記憶階段新增的更新——並不能有效工作。這是因為後續的安全訓練最佳化過程已經改變了原始記憶向量的方向，使得直接減法無法準確移除記憶。
針對這一挑戰，研究人員提出了一種名為“過程側車”（Process Sidecars）的新方法。該方法的核心是一個兩係數編輯家族，其數學表示式為：θ̂(λ,γ)=θ_AMS - λΔ_M - γR̂_{S←M}。其中，θ_AMS是經過安全訓練後的模型引數，Δ_M是記憶編輯的方向向量，R̂_{S←M}是透過未來安全訓練過程計算的割線近似，具體定義為R̂_{S←M}=ĵ_{S,ε}(Δ_M)-Δ_M，而ĵ_{S,ε}是從實際AdamW安全訓練軌跡中提取的中心割線。實現時，ε取1（自然記憶編輯尺度），並複用θ_AMS作為正端點，同時在θ_A - Δ_M處計算一條額外的安全軌跡。
論文提供了兩個關鍵的理論證明。第一，如果使用精確的傳輸方向R_{S←M}（而非割線近似），當係數(λ,γ)取(1,1)時，過程側車可以二階精確地恢復反事實的安全模型θ_AS——即假設沒有進行記憶編輯、僅進行安全訓練所得到的模型。該證明將AdamW最佳化器視為一個增廣狀態對映，包含引數、一階矩和二階矩。第二，證明了這種過程資訊的必要性：只要未來的安全訓練改變了記憶方向，任何標量任務算術編輯（如簡單的加或減）都會留下一個一階的反事實誤差，而過程側車編輯則能達到二階精度。這意味著過程側車在理論上具有顯著優勢。
為了驗證方法的實際效果，研究者在三個不同的語言模型上進行了實驗。實驗設定中，模型首先經過記憶階段，然後進行安全訓練。之後，使用過程側車和基線方法（樸素任務算術和過程-JVP子族，即γ=λ的簡化版本）嘗試撤銷記憶。評估指標是保留集上的拒絕閉包性（refusal closure），即模型正確拒絕輸出記憶相關內容的比率。結果顯示，透過驗證集選擇最優的二維編輯（即最佳化λ和γ），過程側車在所有試驗中均優於樸素任務算術。此外，在與過程-JVP子族的配對比較中，過程側車也全面勝出。這些結果強有力地支援了過程側車在實現可撤銷學習狀態方面的有效性，為語言模型的安全部署提供了一種實用且理論紮實的技術手段。