arXiv 于2026年6月15日发布了一篇编号为2606.17168v1的新论文,题为《RepSelect: Robust LLM Unlearning via Representation Selectivity》,由Filip Sondej等三位作者完成,投稿时间为当日18:06:59 UTC,全文约343 KB,归类于计算与语言(cs.CL)方向。该研究聚焦大语言模型“遗忘学习”(unlearning)中的一个核心难题:如何让模型真正、彻底地忘掉特定知识或价值倾向,同时不损害其通用能力。
论文指出,现有的遗忘方法普遍存在“浅层遗忘”的问题。它们虽然能在短期内降低模型对目标内容的输出,但很容易被后续的微调(fine-tuning)或少量示例提示(few-shot prompting)所逆转,说明被“遗忘”的信息并未真正从模型表示中消失。作者进一步分析了这一现象的根源:现有方法所针对的表示,既与需要保留的数据集共享,又落在微调攻击者能够恢复的子空间中。因此,这类遗忘既会干扰模型的通用能力,又难以抵御重新学习的攻击,形成两难。
针对这一问题,作者提出名为RepSelect(Representation Selectivity,表示选择性)的新方法。其核心思路是在每次权重更新之前,先对权重梯度的主成分进行压缩,从而隔离出仅属于遗忘集(forget set)的表示。这样一来,通用能力所依赖的表示得以保留,而微调攻击者能够恢复的信息范围也被显著限制,从机制上实现更深层、更稳健的遗忘。
在实验设计上,研究覆盖了两类遗忘目标:一是生物危害性知识,二是滥用倾向;同时测试了四个模型家族,涵盖稠密架构与混合专家(Mixture-of-Experts)架构,具体包括Llama 3、Qwen 3.5、Gemma 4 E4B和DeepSeek V2 Lite。作者将RepSelect与五种主流基线方法(GradDiff、NPO、SimNPO、RMU、UNDIAL)进行了对比。
结果显示,在重新学习(relearning)之后,RepSelect使模型回答准确率的下降幅度比最强基线高出4至50倍,并且在面对少量示例提示攻击时表现出近乎完美的稳健性。作者据此认为,针对选择性表示进行遗忘,是实现深度且稳健的大模型遗忘的重要一步。该论文以arXiv预印本形式发布,DOI为10.48550/arXiv.2606.17168,目前DOI由DataCite注册尚待完成。