跳到主要內容
AI News HubLIVE
更多
僅摘要

Polymathic AI與普林斯頓研究人員釋出FlashMap:一種實現6.14倍加速LLM解碼的流對映起草器

Polymathic AI、普林斯頓大學和USC ISI的研究人員釋出了FlashMap,這是一種用連續流對映替代離散擴散起草器的投機解碼方案。它能在一次前向傳播中聯合起草16個token,在Qwen3-8B上實現最高6.14倍的無損加速。

來源MarkTechPost作者: Asif Razzaq
Polymathic AI與普林斯頓研究人員釋出FlashMap:一種實現6.14倍加速LLM解碼的流對映起草器
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明

本文僅提供摘要

根據來源內容權限,本站僅提供編輯摘要、要點和原文連結。

展開要點與分析

文章情報

工程師進階

要點

  • FlashMap使用0.5B引數的起草器,一次前向傳播聯合起草16個token,在Qwen3-8B上實現最高6.14倍無損加速
  • 在全部9個Qwen3-8B基準測試中,一步FlashMap速度均快於重新訓練的DFlash,引數量約為其一半
  • 權重以Apache-2.0許可釋出,程式碼為MIT許可,並提供vLLM與SGLang外掛

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。