混合架构正在成为大模型发展的重要方向，但如何在全注意力与线性注意力之间分配角色，目前仍主要依赖经验式设计。一篇由Runlin Shi等人撰写、发布于arXiv的论文提出了一个新视角：现代Transformer本身已经隐含地完成了这种功能分化，研究者只需要用干预手段把它揭示出来，就能把混合架构的设计从启发式推进为有据可依的原则。
论文的核心观察来自对RoPE（旋转位置编码）Transformer的头部级分析。传统的行为学探针往往只能把注意力头粗略划分为若干类型，难以形成完整的分类体系。为了克服这一局限，作者设计了两种干预指标。第一种是RoPE频率重要性分数（RFIS），用于衡量每个旋转频率对某个注意力头分布的影响；第二种是RoPE位置依赖度（RPD），用来剥离注意力头对旋转位置调制的依赖程度。RFIS给出初步信号，RPD则验证这一信号，二者结合可以在Qwen3系列和Llama3.1模型上得到一套清晰的二分法：检索头与位置头。
更有意思的是，这两类头部之间并不存在模糊的连续谱，而是被一个显著的“中低频带”明确隔开。研究者进一步在可控Transformer实验中看到，这个分界线的位置随着训练序列的长度尺度的改变而移动。他们把这个界带称为“全局位置带”（Global Positional Band）。这一发现可能解释了为什么许多模型无法在零样本条件下做长度外推：当模型将远距离的依赖关系寄希望于位置编码，而位置编码的全局尺度又被训练长度所限定时，外推就会失效。
基于这些证据，论文提炼出两条架构原则。其一，位置建模应当局限在局部范围内运行，而全局信息访问则需要依赖与位置无关的检索机制来实现。其二，这两种功能应分配到头部粒度上，并采用分层特异性的分配方式，而不是在整个层或整个模型上做粗粒度切分。换句话说，理想的状态不是让某些层做全局注意力、某些层做线性注意力，而是在同一层内让不同的头各司其职。
为了验证这些原则，作者构造了“头级混合架构”（HwH）。HwH将不携带位置编码的全注意力（NoPE FA）用于全局检索，将线性注意力（LA）用于局部位置建模。实验显示，即使FA与LA的比例低于1:3，HwH也能保持较强的语言建模与常识推理能力，同时检索性能得到提升，零样本长上下文外推显著优于普通Transformer、纯线性注意力和分层混合基线。
消融实验进一步确认了全局位置带与两条设计原则各自的作用，说明“检索头”和“位置头”的角色分配确实是架构性能的关键。这项研究的意义不仅在于给出了一个新的混合架构方案，更在于示范了一条从模型内部分析出发、逐步得出可迁移设计原则的路径。论文全文包括24页正文、15张图和8张表，可在arXiv上以编号2609.02986查阅。