MiniMaxスパースアテンション（MSA）：109BパラメータMoEモデルで学習された2分岐ブロックスパースアテンション

MiniMaxはMSA（グループ化クエリアテンションに基づくスパースアテンション）を発表。軽量なインデックスブランチが各クエリのトップkのキー・バリューブロックを選択し、メインブランチはそれらのブロックにのみ注目。1Mコンテキストでトークンあたりのアテンション計算を28.4倍削減しつつ、下流ベンチマークでGQAに匹敵する性能を達成。