騰訊近日發佈了AngelSpec，這是一個開源的、原生Torch的訓練框架，專門用於推測解碼的起草模型。該框架同時支持自迴歸多令牌預測（MTP）和塊並行DFlash系列。
大多數推測解碼工作都在尋找一個在平均基準混合上表現良好的通用起草器，但實際服務流量並不符合這種混合分佈。AngelSpec將工作負載異質性作為首要設計約束，並圍繞它專門調整結構、訓練數據和驗證深度。
為什麼通用起草器表現不佳？推測解碼是無損的：輕量級起草器提出多個未來令牌，目標模型通過拒絕採樣在一次前向傳播中驗證它們。加速取決於兩個因素：接受多少草案令牌以及完成草案-驗證回合的時間。這兩個因素在不同領域呈反向變化：在高熵的開放對話中，許多延續在語義上有效，接受率隨深度快速下降；而在代碼和數學推理中，更長的可預測跨度更適合塊並行起草。
AngelSpec因此提供了兩種互補的起草器：MTP模型在豐富多樣的對話數據上訓練，而塊擴散模型則加強了代碼和數學樣本。
在MTP路徑上，原始的Hy3模型僅有一個MTP層，沒有循環自條件展開。訓練目標從未為長自生成鏈做準備，導致深層接受率下降。AngelSpec通過共享參數的多深度方案解決了訓練與推理的不匹配：在訓練中，MTP塊被自迴歸展開D步，每個預測輸入下一次調用。關鍵改進包括凍結目標主幹、使用目標模型展開生成訓練數據。
在Hy3-A21B上，貪婪解碼下的平均接受率從52.8%提升至66.4%，平均接受長度從2.58增至2.99。深層位置的改進尤為顯著：GSM8K上p3從0.290升至0.706，HumanEval上從0.387升至0.757。
DFly是塊擴散架構，建立在DFlash之上，包含兩個結構變化：混合目標條件主幹和前驅條件自迴歸頭。混合主幹融合了DFlash的共享上下文和DFlare的逐層融合，而前驅條件頭將位置級邊際預測轉換為前綴條件分佈。
早期性能方面，在Qwen3-8B上，DFly的平均接受長度達5.41，優於DSpark的5.32、DFlash的4.57和MTP的3.24。在Hy3-A21B上，DFly達到4.79，相對DFlash提升29.8%，相對MTP提升59.7%。
AngelSpec基於TorchSpec構建，實現了多項擴展：TTT展開、長上下文訓練（支持128K令牌）、文檔感知序列打包、評估服務器等。框架還提供可插拔接口：目標（vLLM）、目標函數和優化器。
目前已在Hugging Face和ModelScope上發佈七個檢查點，支持六種草案架構的訓練。DFly在Hy3-A21B上將平均接受長度提升至4.79，在HY3-295B-A21B上DFly-8實現1.98–2.40倍加速。D-cut技術在併發64下將吞吐量提升至981 tok/s，相比DFly提升15.7%。