Parallax: ソフトマックスを維持し、学習された共分散補正ブランチを追加するパラメータ化された局所線形注意機構

Parallaxは、ソフトマックス注意を維持し、学習された共分散補正ブランチを追加する新しい注意機構で、局所線形注意（LLA）のクエリごとの共役勾配解法を置き換えます。FlashAttentionのキー・バリューストリームを再利用することで演算強度を2倍にし、0.6Bおよび1.7BスケールのLLM事前学習でより低いパープレキシティを達成します。ただし、その利得はMuonオプティマイザーに強く依存し、AdamWでは大幅に減少します。