Polymathic AIとプリンストン大学の研究者らがFlashMapを公開、LLMデコードを6.14倍高速化するフローマップドラフター
Polymathic AI、プリンストン大学、USC ISIの研究者らがFlashMapを公開した。離散拡散ドラフターを連続フローマップに置き換える投機的デコーディング手法で、1回のフォワードパスで16トークンをまとめてドラフトし、Qwen3-8Bで最大6.14倍のロスレス高速化を実現する。
Polymathic AIとプリンストン大学の研究者らがFlashMapを公開、LLMデコードを6.14倍高速化するフローマップドラフター
要約のみ
配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。