本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

Attention Residualsによる深さ認識型アクティベーションステアリング

記事の要約

本論文は、学習可能な層間経路を提供するAttention Residuals(AttnRes)と、概念読み出しを行うJacobian-lens(J-space)を組み合わせ、軽量な深さ認識型ステアリングパイプラインを構築した。Qwen3-0.6BとQwen3.5-0.8Bにおいて、ペルソナベクトルを深さ重みに従って分散させる手法が、単一層への注入よりも強い内部整合性と行動変化をもたらすことを示し、幾何学的分解・強度ウィンドウ・指標規律に関する知見も提示している。

ソースarXiv Computer Vision著者: Shilong Zhao (Independent Researcher)
Attention Residualsによる深さ認識型アクティベーションステアリング
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

アクティベーションステアリングは、追加学習を必要とせずに大規模言語モデルの振る舞いを調整できる簡便な手法である。しかし既存の手法は通常、単一の層にベクトルを注入するだけで、深さを意識した伝播の仕組みや内部検証の手段を欠いている。Shilong Zhaoによる本論文は、学習可能な層間経路を提供するAttention Residuals(AttnRes)と、概念を読み出すJacobian-lens(J-space)という最近の2つのアイデアを組み合わせ、軽量な深さ認識型ステアリングのパイプラインを構築している。

実験は2つの小規模オープンモデル、Qwen3-0.6BとQwen3.5-0.8Bで行われた。ペルソナベクトルをAttnRes流の深さ重みに従って各層に分散させると、単一層への注入よりも強い内部整合性が得られる。具体的には、より深い層での概念コサイン類似度と概念ランクが有意に向上し(p<0.0001)、行動面でもより大きな変化が観察された。

この効果には明確な符号特異性がある。ベクトルを反転させると6つの指標すべてが逆転し、ランダムな方向を用いると整合性が低下する(p<0.0001)。また短時間のLoRA微調整によってその痕跡は消去される。注意機構の分析からは、注入が注入点より厳密に下流の注意のみを書き換えることも示された(上流のJSは0.00000)。

論文は実用的な知見を3点挙げている。第1にコサイン読み出し値の層ごとの幾何学的分解である。注入層では増分の123%が算術的な部分であるのに対し、下流5〜11層では増分の100%が力学的な部分に由来する。第2に強度ウィンドウである。効果は0.3から0.7の範囲では単調に増加するが、それを超えると生成が崩壊し、生成長は617文字から306文字、さらに25文字へと低下する。第3に指標の規律である。キーワード規則に基づく指標はLLM審査員による検証に合格せず(kappaは0.09以下)、著者は規則に基づく2つの結論を撤回した。

さらに著者は、バックボーンを凍結したままステアリング目的で深さ重みを200ステップ学習させることで、ホールドアウトプロンプトにおける最終的な整合性を10倍に高めた。ペルソナ間のベクトルでは効果の96〜99%が保持され、この特異性がランダム方向ではなく意味的方向に対して働くことが確認されている。本論文の貢献は、低オーバーヘッドで実用的な深さ認識型ステアリング手法と、慎重に設計された評価プロトコルを提示した点にあり、コードとデータも公開されている。

要点と分析を開く

記事インテリジェンス

投資家上級

要点

  • AttnRes型の深さ重みでペルソナベクトルを複数層に分散させると、内部の概念コサインとランクにおいて単一層注入より優れる(p<0.0001)。
  • 効果には符号特異性があり、逆ベクトルは6つの指標すべてを反転させ、ランダム方向は整合性を低下させ、短時間のLoRA微調整で痕跡が消える。注入は注入点より下流の注意のみを書き換える(上流のJSは0.00000)。
  • 強度ウィンドウが存在し、0.3〜0.7では効果が単調だが、それを超えると生成が崩壊する(617→306→25文字)。
  • キーワード規則ベースの指標はLLM審査員の検証に合格せず(kappa≤0.09)、規則に基づく2つの結論が撤回された。ステアリング目的で深さ重みを学習させると、ホールドアウトプロンプトでの最終整合性が10倍に向上する。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。