本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

プロセスサイドカーによる取り消し可能な学習状態

記事の要約

本論文は、言語モデルの安全性訓練後に学習状態を取り消すための2係数編集手法「プロセスサイドカー」を提案する。AdamW最適化プロセスの推定を用いて2次精度の記憶取消しを実現し、3つのモデルで単純なタスク算術を上回る結果を示した。

ソースarXiv Machine Learning著者: John Sweeney
プロセスサイドカーによる取り消し可能な学習状態
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

大規模言語モデル(LLM)の訓練と展開の実践において、一般的な流れは段階的にモデルを適応させることである。まず、モデルは公開データセットで技能訓練を受け、汎用的な言語理解と生成能力を学習する。次に、プライベート記憶段階に入り、特定のエンティティに関する記憶(例えば、企業内部データやユーザーの個人情報)が注入される。最後に、コンプライアンスのために、モデルは安全訓練を受け、記憶されたエンティティに関連する出力を拒否することを学習する。しかし、学習された記憶を取り消す必要が生じた場合(例えば、ユーザーがデータ削除を要求した場合)、単純なパラメータ減算、つまり現在のパラメータから記憶段階で追加された更新を差し引くだけでは効果的に機能しない。なぜなら、後続の安全訓練最適化プロセスが元の記憶ベクトルの方向を変更してしまい、直接的な減算では正確に記憶を除去できないからである。

この課題に対処するため、研究者らは「プロセスサイドカー」(Process Sidecars)と呼ばれる新しい手法を提案した。この手法の核心は2係数編集族であり、その数式は次のように表される:θ̂(λ,γ)=θ_AMS - λΔ_M - γR̂_{S←M}。ここで、θ_AMSは安全訓練後のモデルパラメータ、Δ_Mは記憶編集の方向ベクトル、R̂_{S←M}は将来の安全訓練プロセスから計算される割線近似であり、具体的にはR̂_{S←M}=ĵ_{S,ε}(Δ_M)-Δ_Mと定義される。ĵ_{S,ε}は実際のAdamW安全訓練軌跡から抽出された中心割線である。実装ではε=1(自然な記憶編集スケール)を使用し、θ_AMSを正の端点として再利用し、θ_A - Δ_Mで追加の安全軌跡を1つ計算する。

本論文は2つの重要な理論的証明を提供する。第一に、正確な輸送方向R_{S←M}(割線近似ではなく)を使用する場合、係数(λ,γ)を(1,1)に設定すると、プロセスサイドカーは反事実的安全モデルθ_AS(記憶編集を行わず安全訓練のみを行った場合のモデル)を2次精度で回復する。この証明は、AdamWオプティマイザーをパラメータ、一次モーメント、二次モーメントに対する拡張状態写像として扱う。第二に、このプロセス情報の必要性が証明される。将来の安全訓練が記憶方向を曲げる場合、すべてのスカラータスク算術編集(単純な加算や減算など)は一次の反事実誤差を残すが、プロセスサイドカー編集は二次精度である。これは、プロセスサイドカーが理論的に顕著な優位性を持つことを意味する。

手法の実際の効果を検証するため、研究者らは3つの異なる言語モデルで実験を行った。実験設定では、モデルはまず記憶段階を経て、その後安全訓練を受ける。その後、プロセスサイドカーとベースライン手法(単純なタスク算術およびγ=λの簡略化版であるプロセス-JVPサブファミリー)を用いて記憶の取り消しを試みる。評価指標は保持セットにおける拒否閉包性(refusal closure)、つまりモデルが記憶関連コンテンツの出力を正しく拒否する割合である。結果は、検証セットで最適な二次元編集(λとγの最適化)を選択することにより、プロセスサイドカーがすべての試験で単純なタスク算術を上回ることを示した。さらに、プロセス-JVPサブファミリーとのペア比較でも、プロセスサイドカーはすべての試験で勝った。これらの結果は、プロセスサイドカーが言語モデルの安全な展開において、学習状態の取り消しを実現する実用的で理論的に裏付けられた手法であることを強く支持している。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 言語モデルは技能、記憶、安全の段階を経て適応され、後続の安全訓練が記憶方向を変えるため、単純な減算では取消しが不十分である。
  • プロセスサイドカーは2係数編集を用い、AdamW安全訓練プロセスの割線推定を組み込むことで、2次精度の記憶取消しを達成する。
  • 理論的には、正確な条件下で反事実安全モデルを回復し、経験的には3つのモデルすべての試験で単純なタスク算術を凌駕する。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。

プロセスサイドカーによる取り消し可能な学習状態 | AI News Hub