近日，Yunpeng Zhou向arXiv提交了一篇題為《特徵組合的結構不穩定性》（Structural Instability of Feature Composition）的論文（編號：2605.05223），深入探討了稀疏自編碼器（SAE）在組合式啟用控制中的理論侷限性。SAE已被證明是解耦Transformer架構中特徵疊加的有效正規化，透過啟用引導可以實現對模型行為的精確控制。然而，組合式控制——即同時啟用多個不同的語義潛在變數——的理論基礎一直未被充分研究。傳統的線性表示假說往往忽略了過完備字典中產生的非線性干擾效應。
為了填補這一空白，作者提出了一個幾何框架來分析特徵並集的不穩定性。他們將啟用空間建模為高維稀疏錐流形，並在球形字典模型下推匯出了組合塌縮的漸近閾值。該閾值由訊號錐的高斯平均寬度（即統計維度）表徵，代表了啟用空間能夠容納的穩定組合的容量上限。當組合規模超過這一閾值時，特徵表示將發生塌縮，導致控制失效。
進一步的分析表明，在偏置較高的區域，ReLU整流函式的非線性特性會將微觀的、由相關性引起的方差波動轉化為系統性的漂移。這種漂移在多次組合過程中不斷積累，產生一種與棘輪效應一致的干擾增長模式——即組合越多，干擾越嚴重，且不可逆。作者在CLEVR資料集上提取的結構化語義特徵上驗證了該預測：當特徵之間存在層次相關性時，塌縮轉變的速度相比隨機基線顯著加快。
這些結果凸顯了基於並集的啟用控制在可擴充套件性方面面臨的幾何約束。作者認為，未來需要設計能夠顯式管理干擾的組合機制，而不是依賴簡單的線性疊加。該研究為構建更魯棒的組合式AI控制方法提供了重要的理論指導，也對當前可解釋性和模型編輯領域產生深遠影響。