跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

當安全幾何結構崩塌:智慧體防護模型微調中的脆弱性

文章摘要

研究發現,使用完全良性的資料對防護模型進行微調,可能會使其完全喪失安全對齊能力。這種行為並非透過對抗性操縱,而是源於標準的領域專業化。研究者透過分析三種防護模型(LlamaGuard、WildGuard 和 Granite Guardian)展示了這一失效現象,並揭示了其根源在於潛在安全幾何結構的破壞——即指導分類的有害-良性表徵邊界。Granite Guardian 經歷了完全崩塌,拒絕率從 85% 降至 0%,CKA 降至零,100% 的輸出變得模糊。為了緩解這一問題,研究者提出了 Fisher 加權安全子空間正則化方法,能夠恢復 Granite Guardian 75% 的拒絕率,並將 WildGuard 的攻擊成功率降至 3.6%。

來源arXiv Machine Learning作者: Ismail Hossain, Sai Puppala, Jannatul Ferdaus, Md Jahangir Alam, Yoonpyo Lee, Syed Bahauddin Alam, Sajedul Talukder
當安全幾何結構崩塌:智慧體防護模型微調中的脆弱性
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

一篇新研究揭示了智慧體 AI 系統中防護模型的嚴重脆弱性:即使使用完全良性的資料進行微調,這些模型也可能完全喪失安全對齊能力。這種行為並非透過對抗性操縱引發,而是源於標準的領域專業化過程。該論文已獲 AAAI 2026 夏季研討會系列接收,提交時間為 2026 年 4 月 8 日。

研究者聚焦於三種專門構建的安全分類器——LlamaGuard、WildGuard 和 Granite Guardian——這些模型通常作為防護層部署在智慧體 AI 流水線中。他們發現,對模型進行良性資料微調會破壞其潛在的安全幾何結構,即原本用於區分有害和良性內容的結構化表徵邊界。透過提取每層的安全子空間並追蹤微調過程中邊界的演變,研究者發現 Granite Guardian 經歷了最嚴重的崩塌:其拒絕率從 85% 驟降至 0%,CKA(中心核對齊)降至零,且 100% 的輸出變得模糊。這種嚴重性超出了此前對通用大語言模型的發現,可以用專業化假說解釋:集中式安全表徵雖高效,但極其脆弱。

為了應對這一問題,研究者提出了 Fisher 加權安全子空間正則化(FW-SSR),這是一種訓練期間的懲罰方法,結合了基於 Fisher 資訊矩陣的曲率感知方向權重和自適應 λ_t 引數。FW-SSR 成功恢復了 Granite Guardian 75% 的拒絕率(CKA 達到 0.983),並將 WildGuard 的攻擊成功率降至 3.6%——甚至低於未修改的基線模型。研究表明,結構化的表徵幾何指標(如 CKA 和 Fisher 分數)比絕對位移指標更能可靠預測安全行為,因此建議將基於幾何的監測作為智慧體部署中防護模型評估的必要組成部分。

展開要點與分析

文章情報

工程師進階

要點

  • 對防護模型進行良性資料微調會破壞其安全對齊能力,甚至完全失效。
  • 安全幾何結構的崩塌導致防護模型無法區分有害和良性內容。
  • 提出的 FW-SSR 方法透過銳化安全子空間有效恢復安全性。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。