Parallax：一种参数化局部线性注意力机制，保留Softmax并添加学习协方差修正分支

Parallax是一种新型注意力机制，保留Softmax注意力并添加一个学习的协方差修正分支，替代了局部线性注意力（LLA）中的逐查询求解器。它通过重用FlashAttention的键值流，将算术强度提高一倍，并在0.6B和1.7B规模的LLM预训练中实现了更低的困惑度。然而，其优势高度依赖于Muon优化器，在AdamW下增益显著缩小。