機械学習におけるデータプライバシーの懸念が高まる中、訓練済みモデルから特定のデータポイントを削除（忘却）する能力がますます重要になっている。最先端の忘却手法はこれまで、忘却セット内のすべてのポイントを平等に扱ってきた。しかし、新たな研究はこのアプローチに疑問を投げかけ、モデルの学習に無視できる影響しか及ぼさないポイントを本当に削除する必要があるのか問いかけている。
「When Unlearning Is Free: Leveraging Low Influence Points to Reduce Computational Costs」と題されたこの論文では、ハーバード大学、ユニバーシティ・カレッジ・ロンドン（UCL）、Appleの研究者らが、言語および視覚タスクにおける影響関数の比較分析を通じて、モデル出力への影響が無視できる訓練データのサブセットを特定した。影響関数は、個々の訓練データポイントがモデルの予測にどの程度影響を与えるかを測定する手法である。さまざまなデータポイントの影響関数値を比較した結果、多くのポイントが学習にほとんど寄与していないことが判明した。この知見を活用し、研究者らは忘却操作前に低影響ポイントを特定して除去することで、処理すべきデータセットのサイズを大幅に削減する効率的な忘却フレームワークを提案した。実際の例では、最大約50%の計算コスト削減を達成し、忘却後のモデル性能も実用上問題ないレベルに保たれた。
著者はAnat Kleiman（ハーバード大学）、Robert Fisher、Ben Deaner（UCL）、Udi Wieder、Vitaly Feldman。研究の一部はAppleで行われ、2025年8月12日に開催されたAppleプライバシー保護機械学習ワークショップで発表された。研究チームは、AI体験がますますパーソナル化される中で、AI能力の進歩と並行して新しいプライバシー保護技術を創出することの重要性を強調している。Appleは以前から差分プライバシーと機械学習の組み合わせで最先端を推進しており、今回の研究もその一環である。このフレームワークは、特にフェデレーテッドラーニングのような異種データシナリオにおいて、データ忘却要求をより効率的に処理する可能性を開き、モデル品質を犠牲にすることなくプライバシー保護技術の産業応用を促進すると期待されている。