JetFlow 是由 Lanxiang Hu 等 11 位作者于 2026 年 6 月 16 日提交至 arXiv 的一篇论文（编号 arXiv:2606.18394v1），属于计算与语言（cs.CL）领域。该论文提出了一个名为 JetFlow 的基于头的投机解码（Speculative Decoding, SD）框架，旨在打破投机解码的扩展性瓶颈，通过并行树起草实现更高的加速比。
投机解码是一种加速自回归大语言模型（LLM）推理的技术，它通过起草多个 token 并并行验证来减少生成延迟。然而，这种方法存在一个扩展性限制：只有当接受率保持高位且起草开销较低时，增加起草预算才能带来速度提升。这一上限难以突破，因为先前基于头的投机解码方法面临因果性与效率的两难困境。自回归起草器产生的候选 token 依赖于路径条件，对于树状投机解码有效，能够获得更长的接受长度，但其起草成本随树深度增加而增长。双向块扩散起草器虽然一次前向就能生成所有位置，但其与分支无关的边缘概率可能形成个体看似合理但相互不一致的树，浪费预算并降低接受率。
JetFlow 的核心创新在于将一次前向起草的效率与分支级的因果条件相结合。具体而言，JetFlow 在冻结的目标模型的融合隐藏状态上训练一个因果并行起草头，产生候选树，其得分与目标模型的自回归分解对齐。这使得 JetFlow 能够将更大的起草预算转化为更长的接受前缀和更高的端到端加速比。
在实验方面，作者在稠密和 MoE 的 Qwen3 模型上，针对数学、编程和聊天基准进行了评估。结果表明，JetFlow 始终优于双向头和基于树的投机解码基线。在 H100 GPU 上，JetFlow 在 MATH-500 上实现了高达 9.64 倍的加速，在开放式对话工作负载上达到 4.58 倍加速。此外，通过 vLLM 集成，在真实服务负载下还展示了进一步的延迟改进。
论文代码和模型已在 https://github.com/hao-ai-lab/JetFlow 公开。该工作为解决投机解码的扩展性限制提供了一种新颖的思路，有望推动大语言模型推理加速的进一步发展。