指紋、設計図ではない：位置符号化が注意のデフォルトスペクトル代数を設定する方法
この研究は、注意機構におけるスコア行列のスペクトル特性が位置符号化によってどのように影響されるかを調査します。7つの事前学習モデルを分析し、RoPEでは前トークンヘッドが回転スペクトルを示す一方、絶対位置符号化とALiBiではそうでないことを発見しました。動的分析ではスペクトルシグネチャが行動後に現れ、因果実験ではスペクトルチャネルは必須ではないが禁止すると形成が遅れることを示します。
注意機構の内部動作に関する新たな研究により、位置符号化が注意ヘッドのスペクトル特性をどのように形成するかが明らかになりました。「指紋、設計図ではない：位置符号化が注意のデフォルトスペクトル代数を設定する方法」と題されたこの研究は、スコア行列 M = W_q^T W_k のスペクトル特性を深く掘り下げています。この行列は一般に非対称かつ非正規であるため、複素固有スペクトルと非直交固有ベクトルを持ちます。研究者は固体物理研究所などに所属し、2026年7月に提出されたプレプリントで、前トークンヘッドと誘導回路を3つのレベルで分析しました。
静的解析では、RoPE、学習型絶対位置、ALiBiの3つの位置符号化スキームにまたがる7つの事前学習モデルを調査しました。その結果、RoPE下の最強の前トークンヘッドは回転スペクトルを持つ一方、位置がQKの外部に入る（学習型絶対およびALiBi）場合には非回転、つまり内容的なスペクトルを示すことがわかりました。このモデルレベルの分離は、調べられたすべてのトップkで完全に見られ、正確な順列検定p値は0.029でした。さらに、RoPEの周波数位相 Im(M_t) をゼロにすると、3つのRoPEモデルすべてにおいて、事前に特定された前トークンヘッドの誘導能力が消失しました。
動的解析では、公開されているPythiaチェックポイントに基づき、すべての注意ヘッドは最初にランダム行列（Ginibre）零点から始まります。回転シグネチャは行動と同時に現れ、その前ではありません。最終的なプロファイルをもたらす集団中央値の抑制は回路形成に続くため、プロファイルは固まった指紋であり、前兆ではありません。
因果実験はトイスケールで行われ、スペクトルチャネルは必須ではないことが示されました。制約付き2層学習は、禁止を迂回して能力を完全に維持できますが、有意な形成遅延が生じます（4つの事前登録された対比、q_BH ≤ 0.016）。コスト構造は各スキームのデフォルトを明らかにします：学習型絶対モデルに対称性を課すと速度が2.9倍遅くなりますが、完全対称な静的Mを持つRoPEヘッドは依然として位相チャネルを介して方向性ルーティングを行い、絶対位置では不可能です。
この研究は、調査された設定の範囲内で、位置符号化が注意ヘッドの解のデフォルトスペクトル代数を設定するという結論に達しました。それは機能の後に彫刻された指紋であり、ハードな制約ではありません。