腾讯近日发布了AngelSpec，这是一个开源的、原生Torch的训练框架，专门用于推测解码的起草模型。该框架同时支持自回归多令牌预测（MTP）和块并行DFlash系列。
大多数推测解码工作都在寻找一个在平均基准混合上表现良好的通用起草器，但实际服务流量并不符合这种混合分布。AngelSpec将工作负载异质性作为首要设计约束，并围绕它专门调整结构、训练数据和验证深度。
为什么通用起草器表现不佳？推测解码是无损的：轻量级起草器提出多个未来令牌，目标模型通过拒绝采样在一次前向传播中验证它们。加速取决于两个因素：接受多少草案令牌以及完成草案-验证回合的时间。这两个因素在不同领域呈反向变化：在高熵的开放对话中，许多延续在语义上有效，接受率随深度快速下降；而在代码和数学推理中，更长的可预测跨度更适合块并行起草。
AngelSpec因此提供了两种互补的起草器：MTP模型在丰富多样的对话数据上训练，而块扩散模型则加强了代码和数学样本。
在MTP路径上，原始的Hy3模型仅有一个MTP层，没有循环自条件展开。训练目标从未为长自生成链做准备，导致深层接受率下降。AngelSpec通过共享参数的多深度方案解决了训练与推理的不匹配：在训练中，MTP块被自回归展开D步，每个预测输入下一次调用。关键改进包括冻结目标主干、使用目标模型展开生成训练数据。
在Hy3-A21B上，贪婪解码下的平均接受率从52.8%提升至66.4%，平均接受长度从2.58增至2.99。深层位置的改进尤为显著：GSM8K上p3从0.290升至0.706，HumanEval上从0.387升至0.757。
DFly是块扩散架构，建立在DFlash之上，包含两个结构变化：混合目标条件主干和前驱条件自回归头。混合主干融合了DFlash的共享上下文和DFlare的逐层融合，而前驱条件头将位置级边际预测转换为前缀条件分布。
早期性能方面，在Qwen3-8B上，DFly的平均接受长度达5.41，优于DSpark的5.32、DFlash的4.57和MTP的3.24。在Hy3-A21B上，DFly达到4.79，相对DFlash提升29.8%，相对MTP提升59.7%。
AngelSpec基于TorchSpec构建，实现了多项扩展：TTT展开、长上下文训练（支持128K令牌）、文档感知序列打包、评估服务器等。框架还提供可插拔接口：目标（vLLM）、目标函数和优化器。
目前已在Hugging Face和ModelScope上发布七个检查点，支持六种草案架构的训练。DFly在Hy3-A21B上将平均接受长度提升至4.79，在HY3-295B-A21B上DFly-8实现1.98–2.40倍加速。D-cut技术在并发64下将吞吐量提升至981 tok/s，相比DFly提升15.7%。