标准Transformer中的点积注意力依赖密集的令牌间两两交互，在上下文长度增长时成为扩展性的核心瓶颈。针对这一问题，研究者提出了高斯混合注意力（Gaussian Mixture Attention, GMA），一种概率式、注意力风格的序列混合器。GMA的核心思路是用路由机制取代显式的查询-键比较：查询和键分别被映射到共享潜在路由空间上的后验“责任”向量，这些向量描述每个令牌对K个可学习高斯混合分量的隶属程度。两个责任向量的重叠度定义了隐式亲和力，而值则被写入和读取自一个K槽的潜在记忆。
从计算角度看，GMA的关键优势在于利用矩阵乘法的结合律，避免显式构造N×N的亲和矩阵。模型转而使用两个责任矩阵，当K固定时，主导激活存储量随O(NK)缩放，而非标准注意力的O(N²)。这为长序列处理提供了一种固定K下的线性时间与线性内存的替代方案。
论文对GMA进行了系统形式化：既给出双向变体，也给出因果变体，并对高斯混合分量提供端到端可微的参数化。理论分析涵盖责任调制下的梯度结构、将GMA解释为受约束的非负低秩亲和，以及局部路由稳定性。这些分析有助于理解GMA的学习动态和表示能力。
实验方面，GMA展现出预期的固定K线性内存扩展特性，在长上下文分类任务上与注意力风格基线具有竞争力。在因果语言建模的WikiText-103基准上，因果GMA优于所测试的线性注意力和随机特征注意力变体，但当前实现仍落后于经过优化的因果缩放点积注意力（SDPA）和Mamba状态空间模型。对学习到的责任分布的分析显示，各分量使用较为广泛，并与表面形式的令牌类别存在中等程度对齐，说明路由空间具有一定可解释性。
作者将GMA定位为一种概率式、可解释、固定K的线性时间注意力风格替代方案，而非对优化softmax注意力或状态空间模型的通用替代。论文共55页，于2026年6月9日提交至arXiv，第一作者为Yongchao Huang。