硬件感知的动态投机解码（DSD）| Cohere

Cohere提出了动态投机解码（DSD），根据硬件约束动态调整草稿令牌数量，以提升LLM推理速度。该方法解决了固定K投机解码在高批次大小时性能下降的问题，并在密集和MoE模型上验证了有效性，同时兼容vLLM的异步调度和CUDA图优化。