跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

緩解擴散模型資料點遺忘中的順序重現現象

文章摘要

這篇 arXiv 論文指出,擴散模型的資料點遺忘評測通常只看刪除剛完成的那一刻,忽略了多次刪除請求連續作用於同一模型時的累積效應。作者識別出“順序重現”這一失敗模式:樣本在刪除後一度被判定為已遺忘,卻在後續針對其他目標的刪除操作後重新回到被記憶的狀態,且無需重新使用被刪資料或對抗性微調。為刻畫該現象,論文提出目標級評測協議,並發現會重現的目標在刪除後呈現更尖銳的區域性去噪損失幾何。

來源arXiv Machine Learning作者: Donghyun Kim, Taehyuk Lee, Jinyeong Kim, Youngmin Oh, Dohyeong Kim, Jaehyuk Ryu, Sangwoo Hong
緩解擴散模型資料點遺忘中的順序重現現象
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

擴散模型的資料點遺忘(data-point unlearning)目標是讓模型在收到刪除請求後“忘記”某個特定訓練樣本。目前的主流評測方式通常只關注刪除操作剛剛完成的那一刻:只要模型在此後的測試中不再復現該樣本,就認定刪除成功。但論文作者指出,這種“只看當下”的評估忽視了一個現實:在真實部署中,刪除請求很少是一次性事件,同一個模型會在一條時間線上被反覆更新,多個刪除目標依次疊加。

論文將這種累積效應下暴露的問題命名為“順序重現”(sequential reappearance)。具體而言,某個樣本在刪除後立刻被判定為已遺忘,但在隨後針對其他目標執行的刪除操作之後,又回到了被記憶的狀態。關鍵之處在於,這種重現既不需要重新引入被刪除的資料,也不依賴攻擊者施加對抗性微調——它不是外部攻擊的結果,而是連續遺忘過程本身的副作用。這意味著即便每一次刪除在當下看起來都是成功的,整條刪除序列的結果仍可能不可靠。

為了刻畫這一現象,作者提出了一套目標級別的評測協議。該協議對序列中的每一個目標樣本分別追蹤三種結局:是否在刪除當下即被遺忘、是否在整條序列結束時仍保持遺忘、以及是否在後續的刪除過程中出現重現。與只報告單次刪除後的遺忘率相比,這種逐目標追蹤的方式能夠區分“暫時遺忘”和“穩定遺忘”,從而揭示序列層面的穩定性差異。

論文還給出了關於成因的線索。作者觀察到,與那些始終保持遺忘的目標相比,最終會重現的目標在刪除之後表現出更尖銳的區域性去噪損失幾何(denoising-loss geometry)。這一發現把“目標是否會被重新記住”與模型在刪除點附近的損失曲率聯絡起來,為診斷和緩解該問題提供了可操作的訊號,也為後續設計更穩健的遺忘演算法指出了方向。

需要說明的是,這是一篇釋出於 arXiv 的預印本,編號 2609.25166,提交於 2026 年 9 月 21 日,作者為 Donghyun Kim 等七人,主題分類為機器學習(cs.LG)與人工智慧(cs.AI)。論文尚不代表經過同行評審的最終結論,其提出的評測協議與幾何觀察仍有待社群復現與驗證。

展開要點與分析

文章情報

投資人進階

要點

  • 提出“順序重現”失敗模式:樣本被刪除後一度遺忘,卻在後續刪除操作中重新被記憶,且無需資料複用或對抗微調
  • 引入目標級評測協議,逐個追蹤目標是即時遺忘、序列結束時仍遺忘,還是在後續刪除中重現
  • 發現會重現的目標在刪除後具有更尖銳的區域性去噪損失幾何,可作為診斷訊號
  • 論文歸入 cs.LG 與 cs.AI,作者為 Donghyun Kim 等七人

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。