一篇來自arXiv的新論文《On the Invariants of Softmax Attention》深入探討了Softmax注意力的內在結構。作者Wonsuk Lee博士定義了“能量場”（energy field），即對注意力logit進行行中心化處理後的結果，並揭示了其在多種模型、架構和輸入下表現出的不變性質。
研究發現兩類不變性：
機制層不變性：這些不變性由Softmax注意力的代數結構決定，包括每行logit之和為零的約束、由注意力頭維度決定的秩界限，以及由此衍生的譜特徵。無論模型如何，這些性質始終成立。作者透過數學證明和實驗驗證了這些約束的普遍性。
模型層規律性：雖然並非機制所強制，但在所有測試的自迴歸語言模型（涵蓋多種架構家族，如GPT、LLaMA等）中均保持一致。能量場的方差分佈在關鍵位置上不會集中於少數幾點，而是呈去集中化趨勢。這種去集中化源於關鍵矩陣的一種特性，稱為“關鍵不相關性”（key incoherence）。該特性表明關鍵矩陣的行向量之間具有低相關性，從而促使注意力分佈更加均勻。
這些不變性具有實際意義。秩界限將能量場限制在低維子空間中，這有助於理解注意力表示的有效維度，並可能用於模型壓縮。關鍵不相關性則提供了一種每頭訓練監控器，可用於檢測訓練過程中的異常，例如某一注意力頭是否陷入退化狀態。所有結論均在多種上下文長度和輸入文本下得到驗證，包括短文本和長上下文場景。
該論文不僅加深了我們對注意力機制的理論理解，也為深度學習實踐者提供了實用的分析工具。未來工作可探索如何利用這些不變性改進注意力機制的設計與訓練。