arXivは2026年6月15日、新規論文「RepSelect: Robust LLM Unlearning via Representation Selectivity」(arXiv:2606.17168v1)を公開した。著者はFilip Sondej氏ら3名で、投稿日時は2026年6月15日18:06:59 UTC、ファイルサイズは約343 KB、分野は計算言語学(cs.CL)に分類されている。本研究は、大規模言語モデル(LLM)から特定の知識や価値観を深く忘れさせつつ、汎用的な能力を損なわないという、アンラーニング(忘却学習)における中心的課題に取り組むものである。
論文はまず、既存手法の限界を指摘する。現在のアンラーニング手法は、ファインチューニングや少数ショット・プロンプティングによって容易に元に戻ってしまい、忘却が表面的であることを示唆している。著者らはその根本原因を特定した。既存手法が対象とする表現は、保持したいデータ集合(retain set)と共有されているだけでなく、ファインチューニング攻撃者が回復できる部分空間にも属しているため、忘却が汎用能力を損なう一方で、攻撃に対してもろくなるという二重の問題を抱えているのである。
これに対し著者らが提案するのがRepSelect(Representation Selectivity、表現選択性)である。この手法は、各更新の前に重み勾配の主要な主成分を圧縮することで、忘却対象の集合に固有の表現を分離する。その結果、汎用能力を支える表現はそのまま維持しつつ、ファインチューニング攻撃者が回復できる範囲を限定し、より深く堅牢な忘却を実現する。
実験では、忘却対象として生物学的危険性のある知識と虐待的傾向の2カテゴリを設定し、稠密アーキテクチャとMixture-of-Expertsアーキテクチャの両方を含む4つのモデルファミリー(Llama 3、Qwen 3.5、Gemma 4 E4B、DeepSeek V2 Lite)で評価を行った。比較対象はGradDiff、NPO、SimNPO、RMU、UNDIALという5つの一般的なベースライン手法である。
結果として、RepSelectは再学習後の回答精度の低下幅において、最強のベースラインと比べて4倍から50倍大きい効果を示し、少数ショット・プロンプティング攻撃に対してもほぼ完全な堅牢性を達成した。著者らは、選択的な表現を狙うことが、深く堅牢なLLMの忘却に向けた重要な一歩であると結論づけている。なお本論文はプレプリントとして公開され、DOIは10.48550/arXiv.2606.17168で、DataCiteによる登録は保留中である。