EAGLE 3.1：修復LLM推理中注意力漂移的推測解碼算法

EAGLE團隊、vLLM團隊和TorchSpec團隊聯合發佈了EAGLE 3.1，旨在解決生產環境中推測解碼的不穩定性。該算法通過FC歸一化和歸一化後隱藏狀態反饋兩大架構改進，有效應對注意力漂移問題。在長上下文任務中，EAGLE 3.1的接受長度比EAGLE 3提升高達2倍；在Kimi K2.6模型上的基準測試顯示，併發數為1時每用户輸出吞吐量提升2.03倍。EAGLE 3.1完全向後兼容，已合併至vLLM主線，並將隨v0.22.0版本發佈。