在一項新的研究中，研究者深入探索了稀疏自注意力機制，提出了一種基於斐波那契間隔的深度交錯方法。該研究在21個語言模型上進行了實驗，所有模型採用相同的訓練配置（6000萬引數，512隱藏維度，16層，4.26億token），比較了四種在深度上設定alpha（控制間隔壓縮或擴充套件的標量）的方法：固定值、每層學習、靜態線性交錯，以及互質重分配。此外，還加入了冪2基數作為對照。
實驗結果顯示，靜態每層交錯排程在困惑度上顯著優於固定和學習alpha，且這種優勢與基數無關——將同一交錯應用於冪2基數使其超越固定斐波那契，達到與學習斐波那契注意力相當的水平。相比之下，每層學習alpha幾乎無效，不僅未能超越靜態排程，還帶來了約五倍的推理延遲增加。
最關鍵的發現是，所有稀疏注意力變體在外推至訓練長度四倍時效能幾乎沒有下降，而匹配的密集基線則徹底崩潰（困惑度上升201%）。研究者認為，這是因為固定偏移注意力只查詢訓練中見過的相對位置。然而，研究也坦承了兩個負面結果：在訓練長度上，最佳稀疏模型的困惑度比密集基線高約26%，且交錯增益在不同上下文位置均勻分佈，而非集中在長距離。
這項研究為稀疏注意力的設計提供了重要見解，表明靜態、非學習的深度排程可能比複雜的學習方法更加有效，同時稀疏注意力在長度外推方面具有顯著優勢。