アクティベーションステアリングは、追加学習を必要とせずに大規模言語モデルの振る舞いを調整できる簡便な手法である。しかし既存の手法は通常、単一の層にベクトルを注入するだけで、深さを意識した伝播の仕組みや内部検証の手段を欠いている。Shilong Zhaoによる本論文は、学習可能な層間経路を提供するAttention Residuals(AttnRes)と、概念を読み出すJacobian-lens(J-space)という最近の2つのアイデアを組み合わせ、軽量な深さ認識型ステアリングのパイプラインを構築している。
実験は2つの小規模オープンモデル、Qwen3-0.6BとQwen3.5-0.8Bで行われた。ペルソナベクトルをAttnRes流の深さ重みに従って各層に分散させると、単一層への注入よりも強い内部整合性が得られる。具体的には、より深い層での概念コサイン類似度と概念ランクが有意に向上し(p<0.0001)、行動面でもより大きな変化が観察された。
この効果には明確な符号特異性がある。ベクトルを反転させると6つの指標すべてが逆転し、ランダムな方向を用いると整合性が低下する(p<0.0001)。また短時間のLoRA微調整によってその痕跡は消去される。注意機構の分析からは、注入が注入点より厳密に下流の注意のみを書き換えることも示された(上流のJSは0.00000)。
論文は実用的な知見を3点挙げている。第1にコサイン読み出し値の層ごとの幾何学的分解である。注入層では増分の123%が算術的な部分であるのに対し、下流5〜11層では増分の100%が力学的な部分に由来する。第2に強度ウィンドウである。効果は0.3から0.7の範囲では単調に増加するが、それを超えると生成が崩壊し、生成長は617文字から306文字、さらに25文字へと低下する。第3に指標の規律である。キーワード規則に基づく指標はLLM審査員による検証に合格せず(kappaは0.09以下)、著者は規則に基づく2つの結論を撤回した。
さらに著者は、バックボーンを凍結したままステアリング目的で深さ重みを200ステップ学習させることで、ホールドアウトプロンプトにおける最終的な整合性を10倍に高めた。ペルソナ間のベクトルでは効果の96〜99%が保持され、この特異性がランダム方向ではなく意味的方向に対して働くことが確認されている。本論文の貢献は、低オーバーヘッドで実用的な深さ認識型ステアリング手法と、慎重に設計された評価プロトコルを提示した点にあり、コードとデータも公開されている。