MiniMax稀疏注意力（MSA）：基于109B参数MoE模型训练的双分支块稀疏注意力机制

MiniMax提出MSA，一种基于分组查询注意力（GQA）的稀疏注意力方法。通过轻量级索引分支选择每个查询的top-k键值块，主分支仅关注这些块，在1M上下文下将每token注意力计算量降低28.4倍，同时在下游基准测试中匹配GQA性能。