不确定性门控选择：面向块稀疏注意力的高效机制

块稀疏注意力机制通过为每个查询选择 top-k 个关键键块来替代标准 softmax 的 O(N²) 计算，从而使得长上下文语言模型能够高效地处理超长序列。然而，这种固定的截断策略存在一个根本性的短视问题：当第 k 块和第 k+1 块的得分非常接近时，选择器会强行进行截断，而不增加任何额外预算。这样一来，那些可能包含答案证据的块被丢弃后，在后续的注意力计算中就无法恢复，导致模型性能下降。

为了解决这一缺陷，来自 arXiv 的一项最新研究提出了一种基于信息价值的路由器（value-of-information router）。该路由器会为每个查询测量 top-k 截断的确定性程度——具体来说，它关注第 k 块与第 k+1 块之间的得分差距。当这个差距很小时，说明截断是不确定的，路由器会将保留的块数加倍，从而避免丢失关键信息。这一规则与骨干网络无关，并且可以轻松地叠加到现有的块评分方法（如 Quest）之上。

实验结果表明，该方法在 LongBench-v2 中等规模数据集（n=215）上表现出色。结合路由器的 Quest 达到了 0.75 的配对召回率，而标准的 top-k 仅为 0.47，相比 SSA 风格的基线提升了 28 个百分点（McNemar 检验 p<0.01）。在 RULER NIAH 多键任务中，该方法的准确率与密集注意力仅相差 2 个百分点。这一提升在 Qwen2.5、Mistral-Nemo 和 Qwen3.6 等四种模型上得到了复现，证明了其跨架构的有效性。

在 128K 上下文长度的测试中，路由器使 Qwen2.5-7B-1M 和 Qwen3.6 的密集注意力准确率保持率分别达到了 0.81 和 0.89，而相比之下，SSA 风格的 top-k 在前者上仅为 0.09。同时，融合选择与核的流水线运行时间仅为密集注意力的 0.62 倍和 0.80 倍，表明该方法在带来显著性能提升的同时，计算开销的增加非常有限。

这项研究为长上下文语言模型的低复杂度推理提供了一种实用的解决方案。通过自适应地调整稀疏模式，它不仅提高了召回率，还保持了与密集注意力相近的准确率，且兼容现有方法。未来，该路由器有望进一步扩展，以处理更复杂的上下文依赖关系，成为长上下文模型推理的重要组件。