跳到主要内容
AI News HubLIVE
更多
仅摘要

Polymathic AI与普林斯顿研究人员发布FlashMap:一种实现6.14倍加速LLM解码的流映射起草器

Polymathic AI、普林斯顿大学和USC ISI的研究人员发布了FlashMap,这是一种用连续流映射替代离散扩散起草器的投机解码方案。它能在一次前向传播中联合起草16个token,在Qwen3-8B上实现最高6.14倍的无损加速。

来源MarkTechPost作者: Asif Razzaq
Polymathic AI与普林斯顿研究人员发布FlashMap:一种实现6.14倍加速LLM解码的流映射起草器
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明

本文仅提供摘要

根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。

展开要点与分析

文章情报

工程师进阶

要点

  • FlashMap使用0.5B参数的起草器,一次前向传播联合起草16个token,在Qwen3-8B上实现最高6.14倍无损加速
  • 在全部9个Qwen3-8B基准测试中,一步FlashMap速度均快于重新训练的DFlash,参数量约为其一半
  • 权重以Apache-2.0许可发布,代码为MIT许可,并提供vLLM与SGLang插件

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。