標準的なTransformerのドット積注意は、トークン間の密な相互作用パターンに依存しており、コンテキスト長の拡大に伴いスケーリングの中心的なボトルネックとなる。この問題に対して、研究者らはガウス混合注意（Gaussian Mixture Attention, GMA）を提案した。これは確率的な注意スタイルの系列混合器であり、明示的なクエリとキーの比較を、K個の学習可能なガウス混合成分を介したルーティングに置き換える。クエリとキーは共有潜在ルーティング空間上の事後「責任」ベクトルにマッピングされ、各トークンが各混合成分にどの程度属するかを表す。二つの責任ベクトルの重なりが暗黙の親和性を定義し、値はKスロットの潜在メモリに書き込まれ、そこから読み出される。
計算面では、GMAは行列積の結合性を利用することでN×Nの親和行列を陽に構築することを避ける。代わりに二つの責任行列を用い、Kが固定されている場合、支配的な活性化ストレージはO(N²)ではなくO(NK)でスケールする。これにより、長い系列に対して固定Kの下で線形時間・線形メモリの代替手段を提供する。
論文はGMAを体系的に定式化している。双方向変種と因果変種の両方を提示し、ガウス混合成分の端到端微分可能なパラメータ化を与える。理論解析では、責任変調された勾配構造、制約付き非負低ランク親和としての解釈、局所ルーティング安定性を扱う。これらの分析はGMAの学習ダイナミクスと表現能力の理解に寄与する。
実験では、GMAは意図された固定Kの線形メモリスケーリングを示し、長文分類タスクで注意スタイルのベースラインと競争力がある。因果言語モデリングのWikiText-103ベンチマークでは、因果GMAはテストされた線形注意およびランダム特徴注意の変種を上回るが、現在の実装では最適化された因果スケーリングドット積注意（SDPA）およびMamba状態空間モデルには及ばない。学習された責任分布の分析は、成分が広く使用され、表層的なトークンカテゴリと中程度に整合していることを示し、ルーティング空間が解釈可能性を持つことを示唆する。
著者らはGMAを、最適化されたソフトマックス注意や状態空間モデルの普遍的な代替ではなく、確率的で解釈可能な固定Kの線形時間注意スタイルの代替として位置づけている。論文は55ページで、2026年6月9日にarXivに提出され、筆頭著者はYongchao Huangである。