Polymathic AI與普林斯頓研究人員發佈FlashMap:一種實現6.14倍加速LLM解碼的流映射起草器
Polymathic AI、普林斯頓大學和USC ISI的研究人員發佈了FlashMap,這是一種用連續流映射替代離散擴散起草器的投機解碼方案。它能在一次前向傳播中聯合起草16個token,在Qwen3-8B上實現最高6.14倍的無損加速。
Polymathic AI與普林斯頓研究人員發佈FlashMap:一種實現6.14倍加速LLM解碼的流映射起草器
本文僅提供摘要
根據來源內容權限,本站僅提供編輯摘要、要點和原文連結。