当遗忘是免费的：利用低影响力数据点降低计算成本
一篇新论文挑战了机器学习中遗忘（unlearning）的标准方法，提出并非所有需要遗忘的数据点都需同等对待。通过分析影响函数，研究者识别出对模型输出影响可忽略的训练数据子集，并在遗忘前缩减数据集规模，实际示例中实现约50%的计算节省。
随着机器学习中数据隐私问题的日益突出，从训练模型中移除特定数据点（即遗忘）的能力变得至关重要。尽管已有多种先进的遗忘方法被提出，但它们通常将所有需要遗忘的数据点一视同仁。最新研究质疑了这一做法，并提出了一个关键问题：那些对模型学习影响微乎其微的数据点是否真的需要被移除？
在这篇题为《When Unlearning Is Free: Leveraging Low Influence Points to Reduce Computational Costs》的论文中，来自哈佛大学、伦敦大学学院（UCL）及Apple的研究人员通过对比分析语言和视觉任务中的影响函数，识别出对模型输出影响可忽略不计的训练数据子集。影响函数是一种衡量单个训练数据点对模型预测影响的技术。通过比较不同数据点的影响函数值，他们发现许多数据点对模型学习几乎没有贡献。基于这一发现，他们设计了一种高效的遗忘框架，该框架在执行遗忘操作前先识别并剔除这些低影响点，从而大幅缩减需要处理的数据集规模。在实际示例中，该方法成功实现了高达约50%的计算成本节省，同时保持了模型在遗忘后的性能不显著下降。
论文的作者包括Anat Kleiman（哈佛大学）、Robert Fisher、Ben Deaner（UCL）、Udi Wieder和Vitaly Feldman。该研究部分在Apple完成，并于2025年8月12日在Apple隐私保护机器学习研讨会上发表。研究团队强调，随着AI体验日益个性化，开发与AI能力同步推进的隐私保护技术至关重要。Apple一直致力于隐私保护研究，此前已在差异隐私与机器学习结合方面取得进展。这项工作为未来大规模机器学习系统中的隐私保护提供了新的可能性，尤其是在联邦学习等数据异构场景中，能够更高效地处理数据遗忘请求，而无需牺牲模型质量。研究者认为，该框架不仅降低了计算开销，还使得遗忘操作更加实用，有助于推动隐私保护技术在工业界的广泛应用。