本文介绍了一篇于2026年6月26日提交至arXiv的论文（编号2606.28560，cs.CL，兼属cs.LG），题为《Depth-Staggered Fibonacci Spacing for Sparse Attention: Static Schedules Beat Learned Dilation and Extrapolate Where Dense Attention Fails》，作者为Chad A. Capps。论文共11页、含5张表格，研究的是稀疏自注意力的一种设计：每个查询只关注一个稠密的局部窗口，再加上一组按斐波那契数列间隔排列的偏移位置，并通过每层一个标量alpha来压缩或扩张这些间隔。
实验规模是本文的一大特点。作者在完全一致的训练配方下训练了21个语言模型，参数为6000万、隐藏维度512、16层，训练语料为4.26亿token。在此基础上，作者比较了四种跨深度设置alpha的方式：固定值、逐层学习、静态线性错位（stagger），以及对该错位进行互质（反网格化）重排，另外还加入了一个感受野相匹配的2的幂次间隔对照组。
论文报告了三个突出结果。第一，静态的逐层错位在困惑度上优于固定alpha和逐层学习alpha，而且这种收益与间隔基数无关：把同样的错位应用到2的幂次基座上，其表现不仅超过固定斐波那契注意力，还能与学习式斐波那契注意力持平。第二，逐层学习实际上没有产生效果，它既没有超过静态调度，又让推理延迟增加到大约五倍，性价比明显不划算。第三，也是最重要的一点，所有稀疏变体在长度扩展到训练长度的四倍时几乎没有退化，而同等配方训练的稠密基线则彻底崩溃，四倍长度下困惑度上升了201%。作者将此归因于固定偏移注意力只会查询训练中出现过的相对位置。
论文同时如实报告了两个负面结果：在训练长度下，最佳稀疏模型的困惑度比稠密基线高约26%；此外，错位带来的增益在上下文各位置上分布均匀，并没有集中在长距离上。这两个发现限制了该方法的适用场景，提醒读者稀疏注意力并非全面优于稠密注意力，而是在长上下文外推方面具有结构性优势。论文指出，完整文本、PDF、HTML实验版及TeX源码均可在arXiv上获取，DOI通过DataCite发放（注册待定）。
从研究意义上看，这项工作对当前长上下文模型的设计有直接启示：简单、静态、无需学习的层间间隔调度，可能比让模型自行学习每层的膨胀系数更有效也更便宜；而稀疏注意力真正的价值不在于训练长度下的困惑度指标，而在于面对远超训练分布的长度时能否保持稳定。