跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

缓解扩散模型数据点遗忘中的顺序重现现象

文章摘要

这篇 arXiv 论文指出,扩散模型的数据点遗忘评测通常只看删除刚完成的那一刻,忽略了多次删除请求连续作用于同一模型时的累积效应。作者识别出“顺序重现”这一失败模式:样本在删除后一度被判定为已遗忘,却在后续针对其他目标的删除操作后重新回到被记忆的状态,且无需重新使用被删数据或对抗性微调。为刻画该现象,论文提出目标级评测协议,并发现会重现的目标在删除后呈现更尖锐的局部去噪损失几何。

来源arXiv Machine Learning作者: Donghyun Kim, Taehyuk Lee, Jinyeong Kim, Youngmin Oh, Dohyeong Kim, Jaehyuk Ryu, Sangwoo Hong
缓解扩散模型数据点遗忘中的顺序重现现象
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

扩散模型的数据点遗忘(data-point unlearning)目标是让模型在收到删除请求后“忘记”某个特定训练样本。目前的主流评测方式通常只关注删除操作刚刚完成的那一刻:只要模型在此后的测试中不再复现该样本,就认定删除成功。但论文作者指出,这种“只看当下”的评估忽视了一个现实:在真实部署中,删除请求很少是一次性事件,同一个模型会在一条时间线上被反复更新,多个删除目标依次叠加。

论文将这种累积效应下暴露的问题命名为“顺序重现”(sequential reappearance)。具体而言,某个样本在删除后立刻被判定为已遗忘,但在随后针对其他目标执行的删除操作之后,又回到了被记忆的状态。关键之处在于,这种重现既不需要重新引入被删除的数据,也不依赖攻击者施加对抗性微调——它不是外部攻击的结果,而是连续遗忘过程本身的副作用。这意味着即便每一次删除在当下看起来都是成功的,整条删除序列的结果仍可能不可靠。

为了刻画这一现象,作者提出了一套目标级别的评测协议。该协议对序列中的每一个目标样本分别追踪三种结局:是否在删除当下即被遗忘、是否在整条序列结束时仍保持遗忘、以及是否在后续的删除过程中出现重现。与只报告单次删除后的遗忘率相比,这种逐目标追踪的方式能够区分“暂时遗忘”和“稳定遗忘”,从而揭示序列层面的稳定性差异。

论文还给出了关于成因的线索。作者观察到,与那些始终保持遗忘的目标相比,最终会重现的目标在删除之后表现出更尖锐的局部去噪损失几何(denoising-loss geometry)。这一发现把“目标是否会被重新记住”与模型在删除点附近的损失曲率联系起来,为诊断和缓解该问题提供了可操作的信号,也为后续设计更稳健的遗忘算法指出了方向。

需要说明的是,这是一篇发布于 arXiv 的预印本,编号 2609.25166,提交于 2026 年 9 月 21 日,作者为 Donghyun Kim 等七人,主题分类为机器学习(cs.LG)与人工智能(cs.AI)。论文尚不代表经过同行评审的最终结论,其提出的评测协议与几何观察仍有待社区复现与验证。

展开要点与分析

文章情报

投资人进阶

要点

  • 提出“顺序重现”失败模式:样本被删除后一度遗忘,却在后续删除操作中重新被记忆,且无需数据复用或对抗微调
  • 引入目标级评测协议,逐个追踪目标是即时遗忘、序列结束时仍遗忘,还是在后续删除中重现
  • 发现会重现的目标在删除后具有更尖锐的局部去噪损失几何,可作为诊断信号
  • 论文归入 cs.LG 与 cs.AI,作者为 Donghyun Kim 等七人

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。