Parallax：一種參數化局部線性注意力機制，保留Softmax並添加學習協方差修正分支

Parallax是一種新型注意力機制，保留Softmax注意力並添加一個學習的協方差修正分支，替代了局部線性注意力（LLA）中的逐查詢求解器。它通過重用FlashAttention的鍵值流，將算術強度提高一倍，並在0.6B和1.7B規模的LLM預訓練中實現了更低的困惑度。然而，其優勢高度依賴於Muon優化器，在AdamW下增益顯著縮小。