塊稀疏注意力機制透過為每個查詢選擇 top-k 個關鍵鍵塊來替代標準 softmax 的 O(N²) 計算，從而使得長上下文語言模型能夠高效地處理超長序列。然而，這種固定的截斷策略存在一個根本性的短視問題：當第 k 塊和第 k+1 塊的得分非常接近時，選擇器會強行進行截斷，而不增加任何額外預算。這樣一來，那些可能包含答案證據的塊被丟棄後，在後續的注意力計算中就無法恢復，導致模型效能下降。
為了解決這一缺陷，來自 arXiv 的一項最新研究提出了一種基於資訊價值的路由器（value-of-information router）。該路由器會為每個查詢測量 top-k 截斷的確定性程度——具體來說，它關注第 k 塊與第 k+1 塊之間的得分差距。當這個差距很小時，說明截斷是不確定的，路由器會將保留的塊數加倍，從而避免丟失關鍵資訊。這一規則與骨幹網路無關，並且可以輕鬆地疊加到現有的塊評分方法（如 Quest）之上。
實驗結果表明，該方法在 LongBench-v2 中等規模資料集（n=215）上表現出色。結合路由器的 Quest 達到了 0.75 的配對召回率，而標準的 top-k 僅為 0.47，相比 SSA 風格的基線提升了 28 個百分點（McNemar 檢驗 p<0.01）。在 RULER NIAH 多鍵任務中，該方法的準確率與密集註意力僅相差 2 個百分點。這一提升在 Qwen2.5、Mistral-Nemo 和 Qwen3.6 等四種模型上得到了復現，證明了其跨架構的有效性。
在 128K 上下文長度的測試中，路由器使 Qwen2.5-7B-1M 和 Qwen3.6 的密集註意力準確率保持率分別達到了 0.81 和 0.89，而相比之下，SSA 風格的 top-k 在前者上僅為 0.09。同時，融合選擇與核的流水線執行時間僅為密集註意力的 0.62 倍和 0.80 倍，表明該方法在帶來顯著效能提升的同時，計算開銷的增加非常有限。
這項研究為長上下文語言模型的低複雜度推理提供了一種實用的解決方案。透過自適應地調整稀疏模式，它不僅提高了召回率，還保持了與密集註意力相近的準確率，且相容現有方法。未來，該路由器有望進一步擴充套件，以處理更復雜的上下文依賴關係，成為長上下文模型推理的重要元件。