AI News HubLIVE
站内改写1 分钟阅读

立场:术语“机器遗忘”在LLM中被过度使用

这篇立场论文指出,“机器遗忘”一词在大型语言模型研究中被过度使用,应仅用于指代数据集定义的删除。许多当前标为“遗忘”的任务实际上追求不同的目标,如对齐、抑制、编辑或混淆,需要不同的术语和评估方法。作者呼吁采用更严格的术语,并与明确的保证和参考模型挂钩。

来源arXiv Computational Linguistics作者: Sangyeon Yoon, Yeachan Jun, Albert No

大型语言模型(LLM)正面临越来越多的“遗忘”需求,即删除训练数据、知识或行为,原因包括法规删除义务、版权/许可争议以及安全或产品政策要求。然而,一篇发表在ICML 2026立场论文轨道上的新论文认为,“机器遗忘”一词在LLM研究中被过度使用,应仅限于一种特定情况:从模型中移除精确指定的训练数据集的影响,使得得到的模型与从头开始训练而不包含该数据几乎无法区分。该论文由Sangyeon Yoon和Yeachan Jun共同主导,共13页,主题涵盖计算与语言、人工智能和机器学习。

论文指出,许多当前被标记为“遗忘”的任务,例如拒绝有害请求、删除特定实体或知识、或目标抑制,实际上追求的是不同的、往往由政策驱动的目标。这些任务应该使用不同的术语和基线,如对齐、抑制、编辑或混淆。作者强调,这种混淆不仅仅是表面问题,因为不同的论文在同一标签下隐含了不同的保证,导致指标和基准被重复使用到其预期范围之外。例如,即使没有测试再训练等价性且衍生能力仍然存在,低ROUGE分数或遗忘准确率等表面上的非披露也会得到奖励。这种计量谬误会使得研究社区无法区分真正的数据删除与简单的行为调整。

论文最后呼吁采用更严格的术语,与明确的保证和参考模型挂钩,并采用与声称的目标相匹配的评估方法。具体而言,作者建议任何声称实现“遗忘”的研究必须验证模型与无该数据重新训练的结果不可区分,而不是仅依赖表面指标。这一立场旨在澄清LLM领域关于“遗忘”的讨论,并推动更精确的研究和实践,从而确保监管合规、版权保护和模型安全性得到真正落实。