指纹，而非蓝图：位置编码如何设置注意力的默认谱代数
该研究探讨了注意力机制中得分矩阵的谱特性如何受位置编码影响。通过分析七个预训练模型，发现RoPE下的前词头具有旋转谱，而绝对位置编码和ALiBi则不然。动态分析表明谱特征在行为之后出现，因果实验显示没有谱通道是必需的，但移除会延迟学习。
一项关于注意力机制内部运作的新研究揭示了位置编码如何塑造注意力头的谱特性。该研究题为“指纹，而非蓝图：如何位置编码设置注意力的默认谱代数”，深入探讨了得分矩阵M = W_q^T W_k的谱性质，该矩阵通常是非对称和非正规的，因此具有复特征谱和非正交特征向量。研究者来自固体物理研究所等机构，在2026年7月提交的预印本中，他们从三个层面分析了前词头和归纳回路。
静态分析中，他们检查了七个预训练模型，涵盖三种位置编码方案：RoPE、学习型绝对位置和ALiBi。结果发现，RoPE下的最强前词头具有旋转谱，而其他方案中位置编码在QK之外进入，导致非旋转的内容类谱。这种模型级别的分离在所有检查的top-k中完美呈现，精确置换检验p值为0.029。进一步，将RoPE的每频率相位Im(M_t)置零会消除所有三个RoPE模型中的归纳能力。
动态分析基于公开的Pythia检查点，每个注意力头最初都起源于随机矩阵（Ginibre）零点。旋转特征与行为同时出现，而非在此之前。群体中位数抑制最终轮廓的形成紧随回路形成之后，因此轮廓是固化后的指纹，而非前兆。
因果实验在玩具规模上进行，表明没有谱通道是必需的。受约束的两层训练可以在禁令下绕过限制，保持能力完整，但会显著延迟形成（四个预先注册的对比，q_BH ≤ 0.016）。成本结构揭示了每种方案的默认设置：对学习型绝对模型施加对称性会使训练速度慢2.9倍，而静态完全对称M的RoPE头仍能通过相位通道进行定向路由，这在绝对位置下是不可能的。
这项研究得出结论：在所检查的设置中，位置编码设定了注意力头解决方案的默认谱代数——这是一个在功能之后塑造的指纹，而非对其的硬性约束。