ハイブリッドアーキテクチャは大規模モデルの発展において重要な方向性となっているが、フルアテンション（FA）とリニアアテンション（LA）の役割配分は、これまで経験則に頼るところが大きかった。Runlin Shi氏らによるarXiv論文は、RoPEベースのTransformerが学習の結果としてヘッドレベルで暗黙に機能分化を遂げていることを示し、その分化を介入指標によって可視化することで、ハイブリッド設計に原理的な基盤を与えようとするものである。
論文の中心となるのは、ヘッドごとの機能を調べるための2つの介入指標だ。1つ目はRoPE周波数重要度スコア（RFIS）で、各周波数がアテンションヘッドの分布に与える影響を測る。2つ目はRoPE位置依存度（RPD）で、回転位置変調への依存度を分離して評価する。行動的プローブだけでは完全な分類が得られなかったのに対し、RFISとRPDを組み合わせることで、Qwen3系列とLlama3.1上で「検索ヘッド」と「位置ヘッド」という完全な分類が得られた。
さらに重要な発見として、両者の境界は、著者らが「グローバル位置帯（GPBand）」と呼ぶ中低周波の帯域に対応する。制御されたTransformer実験では、この境界が訓練系列長に応じて移動することが確認された。つまり、位置情報がカバーできるグローバルな範囲は訓練時に見た系列長によって制約される。これは、モデルがゼロショットでより長い系列に外挿できない原因の一つを示唆している。
こうした分析から、論文は2つの設計原理を導く。第一に、位置モデリングは局所的にのみ作用させるべきであり、グローバルなアクセスは位置に依存しない検索メカニズムを介して行うべきである。第二に、両機能はヘッド単位で割り当て、層ごとに異なる配分をするべきである。つまり、ある層はグローバル用、別の層は局所用と粗く分けるのではなく、同じ層の中の各ヘッドに役割を持たせる方が望ましいという主張である。
この原理を具現化したのが、著者らが提案する「Head-wise Hybrid Architecture（HwH）」である。HwHは、位置符号化を持たないフルアテンション（NoPE FA）をグローバル検索に使い、リニアアテンション（LA）を局所的な位置モデリングに使用する。実験では、FA対LAの比率が1:3未満であっても、言語モデリングと常識推論の性能を保ちながら、検索性能を向上させ、ゼロショット長文外挿をTransformer、LA単体、層単位ハイブリッドベースラインより大幅に強化できることを示している。
アブレーション実験によって2つの設計原理と各コンポーネントの役割も検証されており、「検索」と「位置」の役割分担が実際に性能の鍵であることが裏付けられている。この研究は、新しいアーキテクチャの提案にとどまらず、内部解析から一般化可能な設計原則を引き出すという方法論においても重要な前進といえる。論文は24ページ・15図・8表からなり、arXivで2609.02986として公開されている。