干渉を考慮したマルチタスクアンラーニング

機械学習におけるアンラーニング（忘却学習）は、学習済みモデルから指定された訓練データの影響を除去し、残りのデータに対する性能を維持することを目的とします。従来の研究は主に単一タスクの設定に焦点を当てていましたが、現代のモデルはしばしば共有バックボーンを持つマルチタスク設定で動作します。例えば、物体検出と深度推定を同時に行うモデルなどです。このような設定では、あるタスクやインスタンスの監視情報を削除しようとすると、パラメータが共有されているため、他のタスクやインスタンスに意図せず影響を及ぼす可能性があります。

本論文では、マルチタスクアンラーニングの二つの設定を正式に定義します。全タスクアンラーニング（Full-Task Unlearning）は、対象インスタンスをすべてのタスクから除去するもので、部分タスクアンラーニング（Partial-Task Unlearning）は、選択されたタスクのみから監視情報を削除し、他のタスクではそのインスタンスの記憶を保持します。著者らは、共有パラメータが忘却セットと保持セットを結合させ、タスクレベルの干渉（非対象タスクへの影響）とインスタンスレベルの干渉（他のインスタンスへの影響）を引き起こすことを示しました。例えば、物体検出と深度推定のモデルで歩行者のインスタンスを忘却する場合、検出タスクだけでなく深度推定タスクの該当位置の予測にも影響が出る可能性があります。

この干渉問題に対処するため、本論文は干渉認識フレームワーク（Interference-Aware Framework）を提案します。このフレームワークは、タスク認識勾配投影（Task-Aware Gradient Projection）とインスタンスレベルの勾配直交化（Instance-Level Gradient Orthogonalization）の二つの要素を組み合わせます。タスク認識勾配投影は、モデルパラメータの更新をタスク固有の部分空間に制約することでタスク間の干渉を低減します。具体的には、勾配を更新する際に、他のタスクの勾配と直交する方向のみにパラメータを変更することで、あるタスクの忘却が他のタスクに影響しないようにします。インスタンスレベルの勾配直交化は、忘却信号と保持信号の勾配を直交させることでインスタンス間の競合を減少させます。これにより、特定のサンプルを忘却しても、モデル内の他のサンプルに関連する表現に大きな乱れが生じるのを防ぎます。

実験は、五つのタスク（分類、検出、セグメンテーションなど）を含む二つのマルチタスクコンピュータビジョンベンチマークで実施されました。結果は、提案手法が効果的なアンラーニングを実現しつつ、強い汎化性能を維持することを示しています。忘却品質指標UIS（Unlearning Impact Score）において、最強のベースラインと比較して、全タスクアンラーニングで30.3%、部分タスクアンラーニングで52.9%の削減を達成しました。本研究は、マルチタスク学習におけるプライバシー保護とデータ削除に新たな道を開くものであり、将来的にはより多くのタスクや大規模モデルへの拡張が期待されます。