近年來,引導中間表示已成為控制生成模型(尤其是在部署後的對齊和安全設定中)的一種強大策略。然而,儘管其經驗成功,但一直缺乏全面的理論框架。本文由Tatiana Gaintseva、Andrew Stepanov、Ziquan Liu、Martin Benning、Gregory Slabaugh、Jiankang Deng和Ismail Elezi共同撰寫,填補了這一空白,形式化了概念引導的理論。
首先,研究者建立了引導與仿射概念擦除之間的聯絡,證明標準方法(通常用於移除不需要的行為)是LEACE(一種閉式仿射擦除方法)的特例。LEACE已被證明是一種有效的概念擦除方法,但其應用範圍有限。
接下來,研究者提出了一個原理性的概念切換理論框架——LEACE-Switch,並描述了其提供最優仿射解所依賴的假設。這一框架為理解概念切換提供了堅實的理論基礎。
基於上述分析,研究者引入了MidSteer(最小干擾概念引導),一個更通用的仿射框架,用於概念操作。MidSteer放寬了LEACE-Switch的假設,允許定向的最小干擾變換。這意味著可以在不顯著影響模型其他行為的情況下,精確地引導生成方向。
實驗部分,研究者展示了MidSteer在一系列任務、模態和架構上的優越效能,包括視覺擴散模型和大型語言模型。與現有方法相比,MidSteer在保持生成質量的同時,實現了更精確的概念控制。這項研究為生成模型的安全對齊提供了重要的理論工具,有望推動未來在可解釋AI和模型安全領域的發展。該論文於2026年4月17日提交至arXiv,編號為2605.05220,屬於機器學習(cs.LG)和人工智慧(cs.AI)範疇。