近日,一篇题为“Approximate Machine Unlearning through Manifold Representation Forgetting Guided by Self Mode Connectivity”的研究论文在 arXiv 上发布,该文由 Weiqi Wang 等五位作者共同完成,提出了一种名为 ManiF-SMC 的新型机器遗忘方法。
机器遗忘是支持“被遗忘权”的关键机制,旨在使已训练的模型在移除特定数据后,其行为与从头重新训练(即排除这些数据)的模型保持一致。然而,现有方法大多依赖标签操作或任务梯度反转,不仅遗忘效果有限,还可能损害原始学习目标,且无法保证与重新训练等价。
ManiF-SMC 的核心思想源于一个关键观察:当模型在保留数据(即除去要擦除样本后的剩余数据)上重新训练时,它倾向于根据语义相似性对擦除样本进行分类。基于此,研究者将近似遗忘重新定义为一个几何操作——将每个擦除样本从其原始学习到的流形表示质心推向保留数据中最近的语义邻居。这一过程完全在模型的表示空间内进行,从而降低了对标签和任务特定梯度的依赖性。
为了实现这一几何操作,ManiF-SMC 采用基于边距的三元组损失函数,同时优化遗忘和表示保留两个目标。然而,边距的选择对遗忘效果至关重要,手动设定极为困难。为此,论文提出了一个自模式连通(Self Mode Connectivity)模块,该模块能够快速重建局部流形结构,为每个遗忘案例自适应地生成合适的边距。
在四个具有代表性的数据集(包括图像和文本分类任务)上的大量实验表明,ManiF-SMC 在遗忘效果上能够与最先进的近似遗忘方法相媲美,同时完全在模型的表示空间内操作,无需修改原始模型架构或依赖额外的任务特定信息。这项研究为机器学习中的隐私保护提供了一条新的技术路径,尤其适用于需要满足监管合规要求的数据删除场景。
论文的提交日期为 2026 年 5 月 20 日,目前可在 arXiv 上获取全文。相关研究人员和工程师可以关注这一方法在模型部署和隐私管理中的潜在应用。