一篇来自arXiv的新论文《On the Invariants of Softmax Attention》深入探讨了Softmax注意力的内在结构。作者Wonsuk Lee博士定义了“能量场”（energy field），即对注意力logit进行行中心化处理后的结果，并揭示了其在多种模型、架构和输入下表现出的不变性质。
研究发现两类不变性：
机制层不变性：这些不变性由Softmax注意力的代数结构决定，包括每行logit之和为零的约束、由注意力头维度决定的秩界限，以及由此衍生的谱特征。无论模型如何，这些性质始终成立。作者通过数学证明和实验验证了这些约束的普遍性。
模型层规律性：虽然并非机制所强制，但在所有测试的自回归语言模型（涵盖多种架构家族，如GPT、LLaMA等）中均保持一致。能量场的方差分布在关键位置上不会集中于少数几点，而是呈去集中化趋势。这种去集中化源于关键矩阵的一种特性，称为“关键不相关性”（key incoherence）。该特性表明关键矩阵的行向量之间具有低相关性，从而促使注意力分布更加均匀。
这些不变性具有实际意义。秩界限将能量场限制在低维子空间中，这有助于理解注意力表示的有效维度，并可能用于模型压缩。关键不相关性则提供了一种每头训练监控器，可用于检测训练过程中的异常，例如某一注意力头是否陷入退化状态。所有结论均在多种上下文长度和输入文本下得到验证，包括短文本和长上下文场景。
该论文不仅加深了我们对注意力机制的理论理解，也为深度学习实践者提供了实用的分析工具。未来工作可探索如何利用这些不变性改进注意力机制的设计与训练。