新しい研究により、エージェント型AIシステムにおけるガードモデルの深刻な脆弱性が明らかになりました。完全に良性のデータを使用して微調整を行うと、敵対的操作ではなく標準的なドメイン特化プロセスによって、これらのモデルは安全アライメントを完全に失う可能性があります。この論文はAAAI 2026 Summer Symposium Seriesに採択され、2026年4月8日に提出されました。
研究者らは、LlamaGuard、WildGuard、Granite Guardianという3つの専用安全分類器に焦点を当てました。これらは通常、エージェント型AIパイプラインの保護層としてデプロイされます。良性データでの微調整により、これらのモデルの潜在的な安全ジオメトリ、すなわち有害と良性を区別する構造化された表現境界が破壊されることが判明しました。各層の安全部分空間をSVDで抽出し、微調整中の境界の進化を追跡した結果、Granite Guardianが最も深刻な崩壊を経験しました。拒否率は85%から0%に急落し、CKA（中心カーネルアライメント）はゼロとなり、出力の100%があいまいになりました。この深刻さは、汎用大規模言語モデルに関する以前の知見を上回るものであり、専門化仮説によって説明されます。集中化された安全表現は効率的ですが、壊滅的に脆弱です。
この問題に対処するため、研究者らはFisher重み付き安全部分空間正則化（FW-SSR）を提案しました。これは、Fisher情報行列に基づく曲率認識方向重みと適応的λ_tパラメータを組み合わせたトレーニング時のペナルティ手法です。FW-SSRはGranite Guardianの拒否率を75%回復し（CKA = 0.983）、WildGuardの攻撃成功率を3.6%まで低減しました。これは未修正のベースラインモデルよりも低い値です。研究により、構造的表現ジオメトリ指標（CKA、Fisherスコア）が絶対変位指標よりも安全行動をより確実に予測することが示され、エージェント型デプロイメントにおけるガードモデル評価の必須要素としてジオメトリベースの監視を確立しています。