EAGLE 3.1：LLM推論における注意ドリフトを修正する投機的デコーディングアルゴリズム
EAGLEチーム、vLLMチーム、TorchSpecチームは共同でEAGLE 3.1をリリースし、本番環境での投機的デコーディングの不安定性を修正しました。このアルゴリズムは、FC正規化と正規化後隠れ状態フィードバックという2つのアーキテクチャ改善により、注意ドリフト問題に対処します。長コンテキストタスクでは受け入れ長が最大2倍に向上し、Kimi K2.6モデルでのベンチマークでは同時実行数1でスループットが2.03倍に向上しました。EAGLE 3.1はEAGLE 3チェックポイントと互換性があり、vLLMメインにマージされ、v0.22.0で出荷されます。
EAGLE 3.1：LLM推論における注意ドリフトを修正する投機的デコーディングアルゴリズム
要約のみ
配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。