最近、Yunpeng Zhou氏によってarXivに投稿された論文「特徴構成の構造的不安定性」（Structural Instability of Feature Composition、論文ID: 2605.05223）は、スパースオートエンコーダ（SAE）を用いた構成的ステアリングの理論的な限界を深く掘り下げています。SAEはトランスフォーマーアーキテクチャにおける特徴の重ね合わせを分解し、活性化ステアリングによる精密な制御を可能にする強力なパラダイムとして知られています。しかし、複数の異なる意味的潜在変数を同時に活性化する構成的ステアリングの理論的基盤は未だ十分に解明されていません。従来の線形表現仮説は、過完備辞書で生じる非線形干渉効果をしばしば抽象化してしまっています。
著者らは、特徴和集合（特徴の論理和）の不安定性を解析するための幾何学的枠組みを提案しています。活性化空間を高次元スパースコーン多様体としてモデル化し、球面辞書モデルの下で構成崩壊の漸近的閾値を導出しました。この閾値は信号コーンのガウス平均幅（統計的次元）によって特徴づけられ、活性化空間が安定に保持できる組み合わせの容量上限を表します。組み合わせの規模がこの閾値を超えると、特徴表現が崩壊し、制御が機能しなくなります。
さらに、バイアスが高い領域では、ReLU整流関数の非線形性が微視的な相関由来の分散変動を系統的なドリフトに変換することが示されました。このドリフトは組み合わせを重ねるごとに蓄積され、ラチェット効果と一致する干渉成長を引き起こします——すなわち、組み合わせが増えるほど干渉は悪化し、不可逆的になります。著者らはCLEVRデータセットから抽出した構造化された意味的特徴を用いてこの予測を検証し、階層的な相関が存在する場合、ランダムなベースラインに比べて崩壊遷移が加速されることを確認しました。
これらの結果は、和集合ベースのステアリングのスケーラビリティに対する幾何学的制約を浮き彫りにしています。著者らは、単純な線形重ね合わせを超えて、干渉を明示的に管理する構成メカニズムの必要性を強調しています。本研究は、よりロバストな構成型AI制御手法の設計に向けた理論的基盤を提供するものであり、現在の解釈可能性やモデル編集の分野に深い影響を与えることが期待されます。