近日、Weiqi Wang氏ら5名の著者による研究論文「Approximate Machine Unlearning through Manifold Representation Forgetting Guided by Self Mode Connectivity」がarXivで公開されました。本論文は、ManiF-SMCと名付けられた新しい機械忘却手法を提案しています。
機械忘却は「忘れられる権利」を実現するための基本的なメカニズムであり、訓練済みモデルから特定のデータを削除した際に、そのデータを除外して再学習したモデルと同等の挙動を達成することを目指します。しかし既存の手法の多くは、ラベル操作やタスク勾配の反転に依存しており、忘却効果が限定的であるだけでなく、元の学習目的を損なう可能性があり、再学習との等価性も保証できません。
ManiF-SMCの核心は、重要な観察に基づいています：保持データ（削除するサンプルを除いた残りのデータ）で再学習されたモデルは、削除サンプルをその意味的類似性に基づいて分類する傾向があるという点です。この観察から、研究者は近似的忘却を幾何学的操作として再定義します。すなわち、各削除サンプルを元の学習済み多様体表現の重心から遠ざけ、保持データ内で最も近い意味的隣人へと押しやるのです。このプロセスはモデルの表現空間内でのみ実行され、ラベルやタスク固有の勾配への依存を低減します。
この幾何学的操作を実現するため、ManiF-SMCはマージンベースの三重項損失関数を採用し、忘却と表現保存の両方を最適化します。しかし、適切なマージンを見つけることは困難です。そこで論文は、自己モード接続（Self Mode Connectivity）モジュールを提案します。このモジュールは局所的な多様体構造を迅速に再構築し、各忘却ケースに対して適応的なマージンを生成します。
画像およびテキスト分類タスクを含む4つの代表的なデータセットでの広範な実験により、ManiF-SMCは最先端の近似的忘却手法と同等の忘却効果を達成し、かつモデルの表現空間内でのみ動作することが示されました。元のモデルアーキテクチャの変更や追加のタスク固有情報を必要としないため、実用的な利点があります。この研究は、機械学習におけるプライバシー保護、特に規制遵守が必要なデータ削除シナリオに新たな技術的経路を提供します。
論文は2026年5月20日に提出され、現在arXivで全文を入手可能です。関連する研究者やエンジニアは、モデル展開やプライバシー管理における本手法の潜在的な応用に関心を持つでしょう。