指紋，而非藍圖：位置編碼如何設定注意力的預設譜代數
該研究探討了注意力機制中得分矩陣的譜特性如何受位置編碼影響。透過分析七個預訓練模型，發現RoPE下的前詞頭具有旋轉譜，而絕對位置編碼和ALiBi則不然。動態分析表明譜特徵在行為之後出現，因果實驗顯示沒有譜通道是必需的，但移除會延遲學習。
一項關於注意力機制內部運作的新研究揭示了位置編碼如何塑造注意力頭的譜特性。該研究題為“指紋，而非藍圖：如何位置編碼設定注意力的預設譜代數”，深入探討了得分矩陣M = W_q^T W_k的譜性質，該矩陣通常是非對稱和非正規的，因此具有復特徵譜和非正交特徵向量。研究者來自固體物理研究所等機構，在2026年7月提交的預印本中，他們從三個層面分析了前詞頭和歸納迴路。
靜態分析中，他們檢查了七個預訓練模型，涵蓋三種位置編碼方案：RoPE、學習型絕對位置和ALiBi。結果發現，RoPE下的最強前詞頭具有旋轉譜，而其他方案中位置編碼在QK之外進入，導致非旋轉的內容類譜。這種模型級別的分離在所有檢查的top-k中完美呈現，精確置換檢驗p值為0.029。進一步，將RoPE的每頻率相位Im(M_t)置零會消除所有三個RoPE模型中的歸納能力。
動態分析基於公開的Pythia檢查點，每個注意力頭最初都起源於隨機矩陣（Ginibre）零點。旋轉特徵與行為同時出現，而非在此之前。群體中位數抑制最終輪廓的形成緊隨迴路形成之後，因此輪廓是固化後的指紋，而非前兆。
因果實驗在玩具規模上進行，表明沒有譜通道是必需的。受約束的兩層訓練可以在禁令下繞過限制，保持能力完整，但會顯著延遲形成（四個預先註冊的對比，q_BH ≤ 0.016）。成本結構揭示了每種方案的預設設定：對學習型絕對模型施加對稱性會使訓練速度慢2.9倍，而靜態完全對稱M的RoPE頭仍能透過相位通道進行定向路由，這在絕對位置下是不可能的。
這項研究得出結論：在所檢查的設定中，位置編碼設定了注意力頭解決方案的預設譜代數——這是一個在功能之後塑造的指紋，而非對其的硬性約束。