跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

扩散模型的正交概念擦除

文章摘要

研究者提出正交概念擦除(OCE),将基于编辑的概念擦除重构为乘法参数更新,在保持模型生成能力的同时实现精准擦除,可在4.3秒内擦除多达100个概念。

来源arXiv AI作者: Yuhao Sun, Lingyun Yu, Haoxiang Xu, Fengyuan Miao, Zhuoer Xu, Hongtao Xie
扩散模型的正交概念擦除
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

扩散模型在图像生成领域表现突出,但其可能生成不希望出现或不安全内容的问题,一直是学界与产业界关注的焦点。概念擦除(concept erasure)被视为缓解这一问题的有效思路,然而现有方法仍存在明显局限。论文《Orthogonal Concept Erasure for Diffusion Models》(arXiv:2605.28902v1,2026年5月27日提交)针对这一痛点提出了新的解决方案,并被 ICML 2026 接收为 Oral 报告。

论文首先梳理了两类主流技术路线。一类是基于训练的方法,虽然擦除效果较好,但计算成本高昂,难以扩展;另一类是基于编辑的方法,效率更高、更便于部署,却难以在精确擦除目标概念的同时保持模型整体的生成能力。作者将后者的核心缺陷归结为对加性参数更新的依赖。

为验证这一判断,研究团队进行了实证分析,发现概念语义主要取决于神经元的方向而非幅值,而模型的整体生成能力则依赖神经元的角几何结构。加性更新会不可避免地使方向、幅值与角几何相互纠缠,从而在概念擦除与整体生成性能之间引入非预期的干扰。这一发现为方法设计提供了几何视角的理论依据。

基于上述分析,作者提出正交概念擦除(Orthogonal Concept Erasure,OCE),将基于编辑的擦除重新表述为乘性参数更新。具体而言,OCE 依据闭式解对参数施加逐层正交变换,在精确擦除概念的同时保留神经元的幅值与角几何。针对多概念擦除中的约束冲突,OCE 进一步引入子空间级目标与结构化子空间操作,使擦除更有效、更具可扩展性。

实验部分覆盖单概念与多概念擦除场景。结果表明,OCE 在概念擦除效果与非目标内容保持两方面均优于现有方法,并可在 4.3 秒内擦除多达 100 个概念。论文代码已在 GitHub 公开(https://github.com/HansSunY/OCE),作者为 Yuhao Sun 等共 6 人,全文约 18,125 KB,可通过 arXiv 获取 PDF、实验性 HTML 与 TeX 源码。

展开要点与分析

文章情报

工程师进阶

要点

  • OCE将编辑式擦除从加性更新改为基于闭式解的逐层正交变换,保持神经元幅度和角度几何。
  • 通过子空间级目标处理多概念擦除中的冲突约束,提升可扩展性。
  • 实验表明OCE在单概念和多概念擦除上均优于现有方法,4.3秒内可擦除100个概念。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。