本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

不確実性ゲート付き選択:ブロックスパース注意機構の効率化

記事の要約

長文脈言語モデルにおけるブロックスパース注意機構の固定 top-k 打ち切りは、スコアが拮抗したブロックを見落とす問題がある。本稿では、クエリごとの不確実性に基づき保持ブロック数を動的に増やすルーターを提案し、再現率を大幅に向上させる。

ソースarXiv Machine Learning著者: Thomas Rossi
不確実性ゲート付き選択:ブロックスパース注意機構の効率化
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

ブロックスパース注意機構は、各クエリに対してキーブロックの top-k 選択を行うことで、標準的なソフトマックスの O(N²) 計算を置き換え、長文脈言語モデルのスケーラビリティを向上させている。しかし、この固定打ち切りには近視眼的な問題がある。k 番目と k+1 番目のブロックのスコアがほぼ同点の場合、選択者は追加予算を費やすことなく打ち切りを決定し、答えの証拠を含むブロックが後続の処理で回復不能となる。

この問題に対処するため、arXiv の研究で情報価値ルーター(value-of-information router)が提案された。このルーターは各クエリについて top-k 打ち切りの確実性を測定し、その差が最も小さいクエリに対して保持ブロック数を倍増する。このルールはバックボーンに依存せず、Quest などの既存のブロックスコアリング手法と組み合わせて使用できる。

LongBench-v2 の中規模データセット(n=215)での実験では、Quest にルーターを追加した場合のペア再現率は 0.75 で、標準 top-k の 0.47 を上回り、SSA スタイルのベースラインと比較して 28 パーセントポイント向上した(McNemar 検定 p<0.01)。RULER NIAH マルチキータスクでは、密注意機構との精度差はわずか 2 パーセントポイントであった。この改善は、Qwen2.5、Mistral-Nemo、Qwen3.6 の3つのアーキテクチャにわたる4つのモデルで再現された。

128K コンテキスト長では、ルーターにより Qwen2.5-7B-1M と Qwen3.6 の密注意機構の精度維持率はそれぞれ 0.81 と 0.89 となった(比較として、SSA スタイル top-k は前者で 0.09)。一方、選択とカーネルを融合したパイプラインの実行時間は密注意機構の 0.62 倍および 0.80 倍にとどまった。

本研究は、長文脈モデルの効率的な推論に新たな可能性を示すものである。適応的に疎なパターンを調整することで、再現率を向上させると同時に、密注意機構に近い精度を維持し、既存手法との互換性も備えている。今後、このルーターはより複雑な文脈依存関係を扱うように拡張され、長文脈モデル推論の重要な構成要素となることが期待される。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • ブロックスパース注意機構の top-k 選択は、隣接ブロックのスコアが近いと近視眼的になる。
  • 提案ルーターは打ち切りの確実性を測定し、不確実なクエリに対して保持ブロック数を倍増する。
  • LongBench-v2 において、ルーター付き Quest は top-k の 0.47 に対し 0.75 の再現率を達成。
  • 複数アーキテクチャと 128K コンテキストで有効であり、オーバーヘッドは小さい。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。