見解：「機械学習の忘却」という用語はLLMで過剰に使われている

大規模言語モデル（LLM）は、規制上の削除義務、著作権/ライセンス紛争、安全性や製品ポリシーの要件などにより、トレーニングデータ、知識、または行動を「忘れる」ことをますます求められている。ICML 2026のポジションペーパートラックに掲載された新しい論文（著者：Sangyeon Yoon、Yeachan Junら、全13ページ）は、「機械学習の忘却」という用語がLLM研究で過剰に使用されており、特定のケース、すなわちモデルから正確に指定されたトレーニングデータセットの影響を除去し、そのデータなしで再トレーニングしたモデルとほぼ区別がつかないようにすることに限定すべきだと主張している。

論文は、現在「忘却」とラベル付けされている多くのタスク、例えば有害なリクエストの拒否、特定のエンティティや知識の削除、標的抑制などは、実際には異なる、しばしばポリシーに基づく目的を追求しており、アライメント、抑制、編集、難読化などの異なる用語とベースラインを使用すべきだと指摘している。著者らは、この混乱は表面的なものではなく、異なる論文が同じラベルの下で異なる暗黙の保証を行うため、指標とベンチマークが意図された範囲外で再利用され、再トレーニング同等性がテストされず派生能力が残っている場合でも、低いROUGEスコアや忘却精度などの表面レベルの非開示が報われると主張している。このような誤った評価は、真のデータ削除と単なる行動調整の区別を曖昧にし、規制遵守やモデルの安全性に悪影響を与える可能性がある。

論文は最後に、明確な保証と参照モデルに関連付けられたより厳格な用語、および主張された目的に合致した評価を求めている。具体的には、「忘却」を主張する研究は、そのデータなしで再トレーニングした結果と区別できないことを検証すべきであり、単なる表面指標に頼るべきではないと提言している。この見解は、LLM分野における「忘却」に関する議論を明確にし、より正確な研究と実践を促進し、規制遵守、著作権保護、モデル安全性の真の実現を目指すものである。