Nous Research提出燈塔注意力機制：一種僅用於訓練的基於選擇的分層注意力，在長上下文預訓練中實現1.4–1.7倍加速

Nous Research釋出了燈塔注意力機制，這是一種僅用於訓練的基於選擇的分層注意力機制，在預訓練期間包裹標準縮放點積注意力，之後移除。與之前僅池化鍵和值的方法不同，燈塔注意力對稱地池化查詢、鍵和值，形成多解析度金字塔，將注意力呼叫從O(N·S·d)降低到O(S²·d)，並對小型密集子序列執行標準FlashAttention。在530M引數的Llama-3風格模型上，以98K上下文測試，相較於cuDNN SDPA基線實現了1.40–1.69倍端到端加速，且最終訓練損失持平或更低。