跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

当安全几何结构崩塌:智能体防护模型微调中的脆弱性

文章摘要

研究发现,使用完全良性的数据对防护模型进行微调,可能会使其完全丧失安全对齐能力。这种行为并非通过对抗性操纵,而是源于标准的领域专业化。研究者通过分析三种防护模型(LlamaGuard、WildGuard 和 Granite Guardian)展示了这一失效现象,并揭示了其根源在于潜在安全几何结构的破坏——即指导分类的有害-良性表征边界。Granite Guardian 经历了完全崩塌,拒绝率从 85% 降至 0%,CKA 降至零,100% 的输出变得模糊。为了缓解这一问题,研究者提出了 Fisher 加权安全子空间正则化方法,能够恢复 Granite Guardian 75% 的拒绝率,并将 WildGuard 的攻击成功率降至 3.6%。

来源arXiv Machine Learning作者: Ismail Hossain, Sai Puppala, Jannatul Ferdaus, Md Jahangir Alam, Yoonpyo Lee, Syed Bahauddin Alam, Sajedul Talukder
当安全几何结构崩塌:智能体防护模型微调中的脆弱性
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

一篇新研究揭示了智能体 AI 系统中防护模型的严重脆弱性:即使使用完全良性的数据进行微调,这些模型也可能完全丧失安全对齐能力。这种行为并非通过对抗性操纵引发,而是源于标准的领域专业化过程。该论文已获 AAAI 2026 夏季研讨会系列接收,提交时间为 2026 年 4 月 8 日。

研究者聚焦于三种专门构建的安全分类器——LlamaGuard、WildGuard 和 Granite Guardian——这些模型通常作为防护层部署在智能体 AI 流水线中。他们发现,对模型进行良性数据微调会破坏其潜在的安全几何结构,即原本用于区分有害和良性内容的结构化表征边界。通过提取每层的安全子空间并追踪微调过程中边界的演变,研究者发现 Granite Guardian 经历了最严重的崩塌:其拒绝率从 85% 骤降至 0%,CKA(中心核对齐)降至零,且 100% 的输出变得模糊。这种严重性超出了此前对通用大语言模型的发现,可以用专业化假说解释:集中式安全表征虽高效,但极其脆弱。

为了应对这一问题,研究者提出了 Fisher 加权安全子空间正则化(FW-SSR),这是一种训练期间的惩罚方法,结合了基于 Fisher 信息矩阵的曲率感知方向权重和自适应 λ_t 参数。FW-SSR 成功恢复了 Granite Guardian 75% 的拒绝率(CKA 达到 0.983),并将 WildGuard 的攻击成功率降至 3.6%——甚至低于未修改的基线模型。研究表明,结构化的表征几何指标(如 CKA 和 Fisher 分数)比绝对位移指标更能可靠预测安全行为,因此建议将基于几何的监测作为智能体部署中防护模型评估的必要组成部分。

展开要点与分析

文章情报

工程师进阶

要点

  • 对防护模型进行良性数据微调会破坏其安全对齐能力,甚至完全失效。
  • 安全几何结构的崩塌导致防护模型无法区分有害和良性内容。
  • 提出的 FW-SSR 方法通过锐化安全子空间有效恢复安全性。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。