在大型語言模型（LLM）的實際應用中，長上下文解碼一直是一個關鍵挑戰。隨着上下文長度的增加，模型需要頻繁訪問龐大的鍵值（KV）緩存，這嚴重受限於內存帶寬，導致生成速度大幅下降。現有的KV緩存管理方法大多采用解碼前基於鍵的剪枝策略，但這些方法忽略了注意力輸出實際上同時依賴於鍵和值的事實。如果在剪枝時納入值，會引入難以承受的額外計算開銷。
針對這一困境，來自研究機構的陳秋、李國忠和Panos Kalnis提出了注意力運行時終止（Attention Run-time Termination，ART）機制。ART是一種輕量級的運行時方法，它在內核執行過程中持續監控累積的注意力輸出。當檢測到後續KV塊的貢獻變得微乎其微時，ART會提前終止對這些塊的訪問，從而節省寶貴的內存帶寬。這種設計使得ART與現有的基於鍵的剪枝方法完全正交，因此可以無縫集成到任何現有的推理系統中，而無需對模型架構進行任何修改。
研究團隊在LongBench基準測試上對ART進行了全面評估。實驗結果表明，在大批量處理場景下，ART相比當前最先進的基線方法實現了20%的生成吞吐量提升，同時保持了幾乎一致的準確率。這一顯著改進驗證了ART在保持模型質量的同時，能夠大幅加速解碼過程。
ART的提出為大語言模型的高效長上下文推理開闢了新的方向。其輕量級特性和易於集成的優勢，使其有望成為未來LLM推理系統中不可或缺的一部分。該論文已提交至arXiv（編號：2606.00024），並公開了完整的代碼和數據，供研究者復現和進一步探索。