拡散モデルは画像生成の分野で目覚ましい進歩を遂げているが、望ましくない、あるいは安全でない概念を含む可能性がある。概念消去技術は、訓練済みモデルからそのような概念を除去することを目指す重要な研究領域である。しかし、既存の手法には依然として大きな限界がある。訓練ベースの手法は有効であるものの、計算コストが高くスケーラビリティに乏しい。編集ベースの手法はより効率的で展開しやすいが、正確な概念消去と全体的な生成能力の維持を同時に達成することは難しい。
本論文は、編集ベースの手法の核心的な限界が加法的パラメータ更新への依存にあることを指摘する。実証分析により、概念の意味は主にニューロンの方向に依存し、その大きさには依存しないこと、一方で全体的な生成能力はニューロンの角度幾何に依存することが明らかになった。加法的更新は方向、大きさ、角度幾何を本質的に絡み合わせるため、概念消去と全体的な生成性能の間に意図しない干渉を必然的に引き起こす。
この問題を解決するため、著者らは直交概念消去（Orthogonal Concept Erasure, OCE）を提案する。OCEは幾何学的視点から、編集ベースの消去を乗法的パラメータ更新として再定式化する。具体的には、OCEは閉形式解から導かれる層ごとの直交変換をパラメータに適用し、ニューロンの大きさと角度幾何を保持しながら正確な概念消去を可能にする。さらに、複数概念消去における競合する制約に対処するため、OCEは部分空間レベルの目的関数と構造化された部分空間操作を導入し、より効果的でスケーラブルな消去を実現する。
単一および複数概念消去に関する広範な実験により、OCEは概念消去と非対象保持の両面で既存手法を上回り、最大100個の概念を4.3秒で消去できることが示された。本論文はICML 2026のOralに採択されており、コードはGitHubで公開されている。