長いコンテキストでの大規模言語モデル（LLM）のデコーディングは、大規模なキーバリュー（KV）キャッシュを取得するために必要なメモリ帯域幅によって深刻に制約されている。既存のKV管理手法の多くは、デコーディング前にキーのみのプルーニングに依存しているが、注意力出力がキーと値の両方に依存するという証拠があるにもかかわらず、値の組み込みは prohibitive な追加オーバーヘッドを伴うためである。本論文では、Chen Qiu、Guozhong Li、Panos Kalnisの研究者らが「Attention Run-time Termination（ART）」と呼ばれる軽量ランタイム機構を提案する。
ARTの核心は、注意力カーネルの実行中に累積注意力出力をリアルタイムで追跡することにある。後続のKVブロックの寄与が無視できるほど小さくなると、ARTはそれらのブロックへのアクセスを終了する。この設計により、ARTは既存のキーベースのKVキャッシュ管理手法と直交し、競合や追加負担なしにシームレスに統合できる。
研究チームはLongBenchベンチマークでARTを評価した。実験結果は、大バッチサイズにおいて、ARTが最先端のベースライン手法と比較して生成スループットを20%向上させながら、同等の精度を維持することを示している。この成果は、ARTが長コンテキストデコーディングにおけるメモリ帯域幅のボトルネックを効果的に緩和し、LLMの効率的な推論に新たな道を開くことを示唆している。
本論文はarXivに掲載され、番号は2606.00024、計算と言語（cs.CL）分野に属する。投稿日は2026年4月15日である。ARTの提案はKVキャッシュ管理に新たな方向性をもたらし、今後さらに多くの最適化技術と組み合わせることで、大規模言語モデルの実用的な展開効率を一層推進することが期待される。