arXiv は 2026 年 4 月 17 日に論文「EvoSpec: Evolving Speculative Decoding via Real-Time Vocabulary and Parameter Adaptation」を収録した。識別子は arXiv:2605.27390v1 で、主分類は cs.CL(計算と言語)、副分類として cs.AI(人工知能)にまたがる。著者は Shuyu Zhang を筆頭に全 9 名で、投稿日時は 2026 年 4 月 17 日 06:16:58 UTC、全文は約 304 KB である。
本研究は大規模言語モデルの推論高速化手法である投機的デコーディング(speculative decoding)に着目する。この手法は「まず草稿、次に検証」という枠組みを採り、小型のドラフトモデルが候補トークン列を高速に生成し、それを対象モデルがまとめて検証することで、出力分布を変えずにスループットを高める。しかし著者らは、語彙サイズの拡大に伴い出力投影層がボトルネックになると指摘する。既存の静的プルーニングはこの負荷を効果的に削減できるものの、文脈に応じた分布の動的な変化を捉えられないため、専門領域や話題の切り替えが生じる場面では受理率が急激に低下する。
そこで論文は EvoSpec と呼ぶ枠組みを提案し、ドラフトモデルを推論中にリアルタイムで進化させる。中心となるのは動的な語彙適応とパラメータ適応である。静的プルーニングや純粋な検索ベースの手法とは異なり、EvoSpec は文脈認識型の機構を備え、効率的な意味索引と統計索引を用いて重要なロングテール語彙を検索し、専門的な文脈で静的手法が取りこぼす語を補う。
語彙面の調整に加え、著者らは軽量なオンライン整合戦略も設計した。カリキュラム学習を活用してドラフトモデルと対象モデルの分布差を継続的に縮小し、動作中にドラフトモデルを対象モデルの挙動へ漸近させる。
評価はプログラミング、法律、医療の三つの専門領域で行われ、EvoSpec が静的ベースラインの限界を克服することが確認された。EAGLE-3 上で、現行最良の静的ベースラインである FR-Spec と比較してこれらの設定で 1.13 倍の高速化を達成し、標準的なオンライン適応手法よりメモリオーバーヘッドを 27% 削減する。論文は PDF、実験用 HTML、TeX ソースとして閲覧でき、DataCite 経由で DOI(10.48550/arXiv.2605.27390)が付与されている。