跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

RepSelect:通过表示选择性实现鲁棒的大语言模型遗忘

文章摘要

RepSelect提出一种新的大语言模型遗忘方法,通过消除权重梯度的主成分来隔离遗忘集特有的表示,从而在保持模型通用能力的同时有效抵御微调和少样本提示攻击。

来源arXiv Computational Linguistics作者: Filip Sondej, Yushi Yang, Adam Mahdi
RepSelect:通过表示选择性实现鲁棒的大语言模型遗忘
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

arXiv 于2026年6月15日发布了一篇编号为2606.17168v1的新论文,题为《RepSelect: Robust LLM Unlearning via Representation Selectivity》,由Filip Sondej等三位作者完成,投稿时间为当日18:06:59 UTC,全文约343 KB,归类于计算与语言(cs.CL)方向。该研究聚焦大语言模型“遗忘学习”(unlearning)中的一个核心难题:如何让模型真正、彻底地忘掉特定知识或价值倾向,同时不损害其通用能力。

论文指出,现有的遗忘方法普遍存在“浅层遗忘”的问题。它们虽然能在短期内降低模型对目标内容的输出,但很容易被后续的微调(fine-tuning)或少量示例提示(few-shot prompting)所逆转,说明被“遗忘”的信息并未真正从模型表示中消失。作者进一步分析了这一现象的根源:现有方法所针对的表示,既与需要保留的数据集共享,又落在微调攻击者能够恢复的子空间中。因此,这类遗忘既会干扰模型的通用能力,又难以抵御重新学习的攻击,形成两难。

针对这一问题,作者提出名为RepSelect(Representation Selectivity,表示选择性)的新方法。其核心思路是在每次权重更新之前,先对权重梯度的主成分进行压缩,从而隔离出仅属于遗忘集(forget set)的表示。这样一来,通用能力所依赖的表示得以保留,而微调攻击者能够恢复的信息范围也被显著限制,从机制上实现更深层、更稳健的遗忘。

在实验设计上,研究覆盖了两类遗忘目标:一是生物危害性知识,二是滥用倾向;同时测试了四个模型家族,涵盖稠密架构与混合专家(Mixture-of-Experts)架构,具体包括Llama 3、Qwen 3.5、Gemma 4 E4B和DeepSeek V2 Lite。作者将RepSelect与五种主流基线方法(GradDiff、NPO、SimNPO、RMU、UNDIAL)进行了对比。

结果显示,在重新学习(relearning)之后,RepSelect使模型回答准确率的下降幅度比最强基线高出4至50倍,并且在面对少量示例提示攻击时表现出近乎完美的稳健性。作者据此认为,针对选择性表示进行遗忘,是实现深度且稳健的大模型遗忘的重要一步。该论文以arXiv预印本形式发布,DOI为10.48550/arXiv.2606.17168,目前DOI由DataCite注册尚待完成。

展开要点与分析

文章情报

工程师进阶

要点

  • RepSelect通过消除权重梯度的顶部主成分,隔离仅与遗忘集相关的表示,避免影响共享表示。
  • 在生物危害知识和 abusive 倾向两类遗忘任务上,RepSelect 的重新学习后答案准确率降低幅度是最强基线的 4-50 倍。
  • 对少样本提示攻击具有近乎完美的鲁棒性,且在多种模型架构(密集和混合专家)上有效。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。