ブロックスパース注意機構は、各クエリに対してキーブロックの top-k 選択を行うことで、標準的なソフトマックスの O(N²) 計算を置き換え、長文脈言語モデルのスケーラビリティを向上させている。しかし、この固定打ち切りには近視眼的な問題がある。k 番目と k+1 番目のブロックのスコアがほぼ同点の場合、選択者は追加予算を費やすことなく打ち切りを決定し、答えの証拠を含むブロックが後続の処理で回復不能となる。
この問題に対処するため、arXiv の研究で情報価値ルーター(value-of-information router)が提案された。このルーターは各クエリについて top-k 打ち切りの確実性を測定し、その差が最も小さいクエリに対して保持ブロック数を倍増する。このルールはバックボーンに依存せず、Quest などの既存のブロックスコアリング手法と組み合わせて使用できる。
LongBench-v2 の中規模データセット(n=215)での実験では、Quest にルーターを追加した場合のペア再現率は 0.75 で、標準 top-k の 0.47 を上回り、SSA スタイルのベースラインと比較して 28 パーセントポイント向上した(McNemar 検定 p<0.01)。RULER NIAH マルチキータスクでは、密注意機構との精度差はわずか 2 パーセントポイントであった。この改善は、Qwen2.5、Mistral-Nemo、Qwen3.6 の3つのアーキテクチャにわたる4つのモデルで再現された。
128K コンテキスト長では、ルーターにより Qwen2.5-7B-1M と Qwen3.6 の密注意機構の精度維持率はそれぞれ 0.81 と 0.89 となった(比較として、SSA スタイル top-k は前者で 0.09)。一方、選択とカーネルを融合したパイプラインの実行時間は密注意機構の 0.62 倍および 0.80 倍にとどまった。
本研究は、長文脈モデルの効率的な推論に新たな可能性を示すものである。適応的に疎なパターンを調整することで、再現率を向上させると同時に、密注意機構に近い精度を維持し、既存手法との互換性も備えている。今後、このルーターはより複雑な文脈依存関係を扱うように拡張され、長文脈モデル推論の重要な構成要素となることが期待される。