在ICML 2026的立场论文 track 中,Sangyeon Yoon、Yeachan Jun等作者发表了一篇题为《立场:大语言模型中“机器遗忘”一词被过度使用》的文章。论文指出,随着监管删除义务、版权/许可纠纷以及安全或产品政策要求的增加,大语言模型(LLM)越来越需要“忘记”训练数据、知识或行为。然而,作者认为“机器遗忘”这一术语在研究社区中被过度使用,应当被严格保留给一类特定任务:数据集定义的删除。
所谓数据集定义的删除,是指移除一个精确指定的遗忘集的训练影响,使得最终模型与不使用该数据重新训练得到的模型近似不可区分。作者强调,这一定义的核心在于“重训练等价性”——即模型的行为应当与从未见过遗忘数据的模型相似。这种严格定义与当前文献中许多被贴上“遗忘”标签的任务形成鲜明对比。
论文列举了多种常被误称为“遗忘”的任务,例如对有害请求的拒绝、实体或知识移除、以及定向抑制。这些任务追求不同的、往往依赖于策略的目标,因此需要不同的术语和基线。作者建议使用“对齐”、“抑制”、“编辑”或“混淆”等术语来更准确地描述这些目标。例如,拒绝有害请求更接近于对齐问题,而知识移除可能涉及模型编辑技术。
作者进一步指出,这种术语混淆并非表面问题。由于不同论文在同一标签下做出不同的隐式保证,指标和基准经常被超出其预期范围重用。这导致评估奖励表面上的非披露(例如低ROUGE分数或遗忘准确率),即使重训练等价性并未被测试,且衍生能力仍然存在。换句话说,模型可能只是学会了不直接输出某些内容,但相关能力并未真正被移除。
因此,论文呼吁研究社区采用更严格的术语,将其与明确的保证和参考模型挂钩。同时,评估方法应当与所声称的目标相匹配。例如,如果目标是重训练等价性,那么评估就应当检验模型是否在行为上真正类似于未使用遗忘数据训练的模型,而不仅仅是检查输出是否不包含特定字符串。
这篇立场论文发表于2026年5月8日,共13页,属于ICML 2026 Position Paper Track。Sangyeon Yoon和Yeachan Jun贡献相同。论文涉及计算与语言(cs.CL)、人工智能(cs.AI)和机器学习(cs.LG)等主题。作者希望借此推动社区对机器遗忘术语和评估标准的反思,从而促进更严谨的研究实践。