當遺忘是免費的：利用低影響力數據點降低計算成本
一篇新論文挑戰了機器學習中遺忘（unlearning）的標準方法，提出並非所有需要遺忘的數據點都需同等對待。通過分析影響函數，研究者識別出對模型輸出影響可忽略的訓練數據子集，並在遺忘前縮減數據集規模，實際示例中實現約50%的計算節省。
隨着機器學習中數據隱私問題的日益突出，從訓練模型中移除特定數據點（即遺忘）的能力變得至關重要。儘管已有多種先進的遺忘方法被提出，但它們通常將所有需要遺忘的數據點一視同仁。最新研究質疑了這一做法，並提出了一個關鍵問題：那些對模型學習影響微乎其微的數據點是否真的需要被移除？
在這篇題為《When Unlearning Is Free: Leveraging Low Influence Points to Reduce Computational Costs》的論文中，來自哈佛大學、倫敦大學學院（UCL）及Apple的研究人員通過對比分析語言和視覺任務中的影響函數，識別出對模型輸出影響可忽略不計的訓練數據子集。影響函數是一種衡量單個訓練數據點對模型預測影響的技術。通過比較不同數據點的影響函數值，他們發現許多數據點對模型學習幾乎沒有貢獻。基於這一發現，他們設計了一種高效的遺忘框架，該框架在執行遺忘操作前先識別並剔除這些低影響點，從而大幅縮減需要處理的數據集規模。在實際示例中，該方法成功實現了高達約50%的計算成本節省，同時保持了模型在遺忘後的性能不顯著下降。
論文的作者包括Anat Kleiman（哈佛大學）、Robert Fisher、Ben Deaner（UCL）、Udi Wieder和Vitaly Feldman。該研究部分在Apple完成，並於2025年8月12日在Apple隱私保護機器學習研討會上發表。研究團隊強調，隨着AI體驗日益個性化，開發與AI能力同步推進的隱私保護技術至關重要。Apple一直致力於隱私保護研究，此前已在差異隱私與機器學習結合方面取得進展。這項工作為未來大規模機器學習系統中的隱私保護提供了新的可能性，尤其是在聯邦學習等數據異構場景中，能夠更高效地處理數據遺忘請求，而無需犧牲模型質量。研究者認為，該框架不僅降低了計算開銷，還使得遺忘操作更加實用，有助於推動隱私保護技術在工業界的廣泛應用。