扩散模型在图像生成领域表现突出,但其可能生成不希望出现或不安全内容的问题,一直是学界与产业界关注的焦点。概念擦除(concept erasure)被视为缓解这一问题的有效思路,然而现有方法仍存在明显局限。论文《Orthogonal Concept Erasure for Diffusion Models》(arXiv:2605.28902v1,2026年5月27日提交)针对这一痛点提出了新的解决方案,并被 ICML 2026 接收为 Oral 报告。
论文首先梳理了两类主流技术路线。一类是基于训练的方法,虽然擦除效果较好,但计算成本高昂,难以扩展;另一类是基于编辑的方法,效率更高、更便于部署,却难以在精确擦除目标概念的同时保持模型整体的生成能力。作者将后者的核心缺陷归结为对加性参数更新的依赖。
为验证这一判断,研究团队进行了实证分析,发现概念语义主要取决于神经元的方向而非幅值,而模型的整体生成能力则依赖神经元的角几何结构。加性更新会不可避免地使方向、幅值与角几何相互纠缠,从而在概念擦除与整体生成性能之间引入非预期的干扰。这一发现为方法设计提供了几何视角的理论依据。
基于上述分析,作者提出正交概念擦除(Orthogonal Concept Erasure,OCE),将基于编辑的擦除重新表述为乘性参数更新。具体而言,OCE 依据闭式解对参数施加逐层正交变换,在精确擦除概念的同时保留神经元的幅值与角几何。针对多概念擦除中的约束冲突,OCE 进一步引入子空间级目标与结构化子空间操作,使擦除更有效、更具可扩展性。
实验部分覆盖单概念与多概念擦除场景。结果表明,OCE 在概念擦除效果与非目标内容保持两方面均优于现有方法,并可在 4.3 秒内擦除多达 100 个概念。论文代码已在 GitHub 公开(https://github.com/HansSunY/OCE),作者为 Yuhao Sun 等共 6 人,全文约 18,125 KB,可通过 arXiv 获取 PDF、实验性 HTML 与 TeX 源码。