arXivに投稿された新しい研究（2606.28560）は、スパース自己アテンションの一変種を詳細に検討している。各クエリは密なローカルウィンドウに加えて、フィボナッチ間隔で配置されたオフセットのセットにアテンションを向け、層ごとのスカラーalphaで間隔を圧縮または拡張する。研究者らは21の言語モデルを同一のレシピ（60Mパラメータ、512隠れ次元、16層、426Mトークン）で訓練し、alphaを深さ方向に設定する4つの方法を比較した。固定値、層ごとの学習、静的線形スタガー、そしてそのスタガーの互いに素な（アンチグリッド化）再割り当てである。さらに、到達範囲を一致させた2のべき乗の対照群も加えた。
結果として3つの顕著な発見がある。第一に、静的な層ごとのスタガーは固定および学習済みのalphaよりもパープレキシティを改善し、その利得はベースに依存しない。同じスタガーを2のべき乗ベースに適用すると、固定フィボナッチを上回り、学習済みフィボナッチアテンションと同等の性能に達する。第二に、層ごとの学習は無効である。静的スケジュールを上回ることはなく、推論レイテンシが約5倍かかる。第三に、最も重要な点として、すべてのスパース変種は訓練長の4倍に外挿してもほとんど、あるいは全く劣化しない。一方、レシピを一致させた密なベースラインは崩壊する（4倍長でパープレキシティが201%上昇）。これは固定オフセットアテンションが訓練中に見た相対位置のみをクエリするためだと著者らは説明する。
研究はまた、2つの正直な負の結果も報告している。訓練長では、最良のスパースモデルでも密なベースラインよりパープレキシティが約26%高い。そして、スタガーによる利得は長距離に集中するのではなく、コンテキスト位置全体に均一に現れる。これらの発見は、特に効率と汎化における静的スケジュールの優位性を示し、スパースアテンション機構の設計に重要な示唆を与える。