近年来,引导中间表示已成为控制生成模型(尤其是在部署后的对齐和安全设置中)的一种强大策略。然而,尽管其经验成功,但一直缺乏全面的理论框架。本文由Tatiana Gaintseva、Andrew Stepanov、Ziquan Liu、Martin Benning、Gregory Slabaugh、Jiankang Deng和Ismail Elezi共同撰写,填补了这一空白,形式化了概念引导的理论。
首先,研究者建立了引导与仿射概念擦除之间的联系,证明标准方法(通常用于移除不需要的行为)是LEACE(一种闭式仿射擦除方法)的特例。LEACE已被证明是一种有效的概念擦除方法,但其应用范围有限。
接下来,研究者提出了一个原理性的概念切换理论框架——LEACE-Switch,并描述了其提供最优仿射解所依赖的假设。这一框架为理解概念切换提供了坚实的理论基础。
基于上述分析,研究者引入了MidSteer(最小干扰概念引导),一个更通用的仿射框架,用于概念操作。MidSteer放宽了LEACE-Switch的假设,允许定向的最小干扰变换。这意味着可以在不显著影响模型其他行为的情况下,精确地引导生成方向。
实验部分,研究者展示了MidSteer在一系列任务、模态和架构上的优越性能,包括视觉扩散模型和大型语言模型。与现有方法相比,MidSteer在保持生成质量的同时,实现了更精确的概念控制。这项研究为生成模型的安全对齐提供了重要的理论工具,有望推动未来在可解释AI和模型安全领域的发展。该论文于2026年4月17日提交至arXiv,编号为2605.05220,属于机器学习(cs.LG)和人工智能(cs.AI)范畴。