大型語言模型（LLM）的推理速度一直是實際應用中的關鍵瓶頸。推測解碼（Speculative Decoding）通過“草稿-驗證”範式加速推理，但輸出投影層隨着詞彙量增大成為新的瓶頸。現有的靜態剪枝方法雖然能減少計算開銷，但在專業領域（如編碼、法律、醫學）或話題切換場景中，由於無法捕捉動態分佈變化，接受率會大幅下降。
針對這一問題，來自學術界的研究團隊提出了EvoSpec框架，該框架通過實時適應詞彙和參數，使草稿模型能夠動態進化。與靜態或純檢索方法不同，EvoSpec採用上下文感知機制，通過高效的語義和統計索引檢索關鍵的長尾詞。此外，團隊還提出了一種輕量級的在線對齊策略，利用課程學習持續縮小草稿模型與目標模型之間的分佈差距。
在EAGLE-3架構上的實驗表明，EvoSpec在專業領域相比當前最先進的靜態基線FR-Spec實現了1.13倍的加速，同時內存開銷比標準在線自適應方法降低27%。研究團隊在編碼、法律和醫學等多個專業領域進行了廣泛評估，結果證實EvoSpec有效克服了靜態方法的侷限性，為大規模語言模型的實時推理提供了新的解決方案。該論文由Shuyu Zhang等9位作者於2026年4月17日提交至arXiv，論文編號為2605.27390。這一工作不僅提升了推理效率，還為動態模型適配提供了新的思路，有望推動LLM在專業應用中的部署。