Nous Research、Lighthouse Attentionを提案：トレーニング専用の選択ベース階層型注意力機構により、長コンテキストで1.4～1.7倍の事前学習高速化を実現

Nous Researchは、Lighthouse Attentionを公開しました。これはトレーニング専用の選択ベース階層型注意力機構で、事前学習中に標準のスケーリングドット積注意をラップし、その後削除されます。キーと値のみをプールする従来の方法とは異なり、LighthouseはQ、K、Vを対称的にマルチ解像度ピラミッドでプールし、注意呼び出しをO(N·S·d)からO(S²·d)に削減し、小さな密な部分列で標準FlashAttentionを実行します。530MパラメータのLlama-3スタイルモデルで98Kコンテキストでテストされ、cuDNN SDPAベースラインに対して1.40～1.69倍のエンドツーエンドの壁時計速度向上を達成し、最終トレーニング損失は同等かそれ以下です。