Nous Research提出灯塔注意力机制：一种仅用于训练的基于选择的分层注意力，在长上下文预训练中实现1.4–1.7倍加速

Nous Research发布了灯塔注意力机制，这是一种仅用于训练的基于选择的分层注意力机制，在预训练期间包裹标准缩放点积注意力，之后移除。与之前仅池化键和值的方法不同，灯塔注意力对称地池化查询、键和值，形成多分辨率金字塔，将注意力调用从O(N·S·d)降低到O(S²·d)，并对小型密集子序列运行标准FlashAttention。在530M参数的Llama-3风格模型上，以98K上下文测试，相较于cuDNN SDPA基线实现了1.40–1.69倍端到端加速，且最终训练损失持平或更低。