在长上下文大语言模型（LLM）的推理过程中，推测解码虽能提升吞吐量，但其效率常受限于验证阶段的瓶颈——键值（KV）缓存加载主导了延迟。现有的压缩方法在此场景下表现不佳：静态逐出因显著性漂移而导致精度损失，动态选择则在验证路径中引入过高的计算开销。针对这一问题，来自 arXiv 的论文《Dustin: Draft-Augmented Sparse Verification for Efficient Long-Context Generation with Speculative Decoding》提出了一种名为 Dustin 的稀疏验证框架，专为长上下文推测解码设计。该论文已被 ICML 2026 接收，主文 9 页，包含参考文献和附录，由 WenHung Lee 等 9 位作者共同完成，于 2026 年 6 月 23 日提交。
Dustin 的核心思想在于结合草稿模型的前瞻信号与目标模型的历史注意力，从而在多步验证窗口中高保真地识别关键 token。与静态逐出或动态选择不同，这种融合方式能够适应长上下文场景中注意力显著性的动态变化，避免因信息丢失而损害生成质量。为了进一步降低重计算延迟，Dustin 还引入了一种稀疏估计方案，将重要性评分限制在最小子集的注意力头上。这样，在验证过程中只需对少量注意力头进行评分，即可近似全局重要性，从而大幅减少计算量。
在实验评估方面，作者在 PG-19 和 LongBench 数据集上使用 Qwen2.5-72B 模型进行了测试。结果表明，在 32k 序列长度下，Dustin 实现了 27.85 倍的自注意力加速和 9.17 倍的端到端解码加速，同时精度退化几乎可以忽略不计。这一结果凸显了 Dustin 在长上下文生成任务中的实用价值，尤其是在需要多批次推理的场景中，能够显著降低延迟并提升吞吐量。
总体而言，Dustin 通过稀疏验证策略有效缓解了长上下文推测解码中的验证瓶颈，为高效长上下文生成提供了一种可行的解决方案。其创新点在于将草稿模型的前瞻信息与目标模型的历史注意力相结合，并通过稀疏估计降低评分开销，从而在保持精度的同时实现显著加速。该工作对长上下文 LLM 的部署和推理优化具有重要的参考意义。