大语言模型（LLM）在处理长上下文解码时，往往受限于一个关键瓶颈：为了取回庞大的键值（KV）缓存，需要消耗巨大的内存带宽。围绕这一痛点，arXiv 上编号为 2606.00024 的论文《ART: Attention Run-time Termination for Efficient Large Language Model Decoding》提出了一种名为“注意力运行时终止”（Attention Run-time Termination，简称 ART）的轻量级机制。该论文由 Chen Qiu、Guozhong Li 和 Panos Kalnis 撰写，于 2026 年 4 月 15 日提交，归入计算与语言（cs.CL）类别。
研究团队首先指出现有方法的局限。目前大多数 KV 管理方案在解码前依赖“仅基于键（key-only）”的剪枝策略，也就是说它们在筛选缓存块时只看键而忽略值。然而已有证据表明，注意力输出实际上同时取决于键与值，二者共同决定最终结果。问题在于，若把值也纳入筛选流程，现有方法会引入难以承受的额外开销，因此实践中往往退而求其次，只对键做处理。
ART 的设计思路正是绕开这一权衡。它是一种在核函数（kernel）执行期间运行的运行时机制，会持续跟踪累积的注意力输出。当模型处理到某个阶段、后续 KV 块对结果的贡献已经变得微不足道时，ART 便终止对这些块的访问，从而省去不必要的内存读取。由于判断依据是实际累积的注意力输出而非静态的键特征，ART 能够在不显著增加开销的前提下兼顾键与值的影响。
论文强调，这一机制与现有的基于键的 KV 缓存管理方法“正交”，即两者并不冲突，可以无缝集成。这意味着 ART 并非要取代已有的剪枝或缓存压缩方案，而是可以作为一层附加优化叠加其上，进一步提升效率。
在实验部分，作者使用 LongBench 基准进行了评测。结果显示，在大批量（large batch size）场景下，ART 相比当前最先进的基线方法实现了 20% 更高的生成吞吐量，同时保持了可比的准确率。这一结果表明，运行时终止策略在提升长上下文解码效率方面具有实际价值。
从时间线看，该论文于 2026 年 4 月 15 日 06:55:14 UTC 提交第一版（v1），文件大小约 732 KB，并提供 PDF、实验性 HTML 以及 TeX 源码等多种访问形式，遵循 arXiv 的许可条款。该工作属于计算与语言领域的预印本，可通过 DOI 10.48550/arXiv.2606.00024 引用。
总体而言，ART 的核心贡献在于将缓存访问的终止决策从解码前的静态剪枝，转变为核函数执行中的动态判断，并以累积注意力输出作为终止信号。这一思路既回应了“键与值应共同考虑”的理论观察，又避免了过去因纳入值而导致的过高开销，为长上下文 LLM 的高效解码提供了一种可与既有方法叠加的补充手段。