跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

基于自模式连通性引导的流形表示遗忘的近似机器遗忘

文章摘要

本文提出 ManiF-SMC 方法,通过将擦除样本从原始流形表示质心推向保留数据中的最近语义邻居,在表示空间内实现近似机器遗忘,减少了对标签和梯度的依赖。自模式连通模块自适应生成边距,实验表明遗忘效果与现有方法相当。

来源arXiv Machine Learning作者: Weiqi Wang, Zhiyi Tian, Chenhan Zhang, Luoyu Chen, Shui Yu
基于自模式连通性引导的流形表示遗忘的近似机器遗忘
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

近日,一篇题为“Approximate Machine Unlearning through Manifold Representation Forgetting Guided by Self Mode Connectivity”的研究论文在 arXiv 上发布,该文由 Weiqi Wang 等五位作者共同完成,提出了一种名为 ManiF-SMC 的新型机器遗忘方法。

机器遗忘是支持“被遗忘权”的关键机制,旨在使已训练的模型在移除特定数据后,其行为与从头重新训练(即排除这些数据)的模型保持一致。然而,现有方法大多依赖标签操作或任务梯度反转,不仅遗忘效果有限,还可能损害原始学习目标,且无法保证与重新训练等价。

ManiF-SMC 的核心思想源于一个关键观察:当模型在保留数据(即除去要擦除样本后的剩余数据)上重新训练时,它倾向于根据语义相似性对擦除样本进行分类。基于此,研究者将近似遗忘重新定义为一个几何操作——将每个擦除样本从其原始学习到的流形表示质心推向保留数据中最近的语义邻居。这一过程完全在模型的表示空间内进行,从而降低了对标签和任务特定梯度的依赖性。

为了实现这一几何操作,ManiF-SMC 采用基于边距的三元组损失函数,同时优化遗忘和表示保留两个目标。然而,边距的选择对遗忘效果至关重要,手动设定极为困难。为此,论文提出了一个自模式连通(Self Mode Connectivity)模块,该模块能够快速重建局部流形结构,为每个遗忘案例自适应地生成合适的边距。

在四个具有代表性的数据集(包括图像和文本分类任务)上的大量实验表明,ManiF-SMC 在遗忘效果上能够与最先进的近似遗忘方法相媲美,同时完全在模型的表示空间内操作,无需修改原始模型架构或依赖额外的任务特定信息。这项研究为机器学习中的隐私保护提供了一条新的技术路径,尤其适用于需要满足监管合规要求的数据删除场景。

论文的提交日期为 2026 年 5 月 20 日,目前可在 arXiv 上获取全文。相关研究人员和工程师可以关注这一方法在模型部署和隐私管理中的潜在应用。

展开要点与分析

文章情报

工程师进阶

要点

  • ManiF-SMC 是一种新的近似机器遗忘方法,基于流形表示遗忘。
  • 该方法通过将擦除样本推向保留数据中的语义邻居来模拟重新训练行为。
  • 利用自模式连通模块动态调整边距,避免手动设置。
  • 实验在四个数据集上验证了其遗忘效果与最先进方法相当。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。