ReflectDrive-2是近期提出的一种用于自动驾驶的掩码离散扩散规划器,其创新之处在于将驾驶计划表示为离散轨迹令牌,并通过并行掩码解码高效生成。与传统的连续轨迹生成方法不同,离散化表示使得模型能够利用自回归或扩散模型的灵活性,同时通过掩码机制实现并行解码,大幅提升推理速度。该模型包含一个独立的动作专家模块,使得轨迹生成与动作执行分离,进一步增强了系统的模块化。
核心功能AutoEdit允许模型在不依赖额外精炼网络的情况下,对已生成的轨迹令牌进行原地修订。这一自编辑能力通过两阶段训练实现:首先,研究人员构建了沿纵向进度和横向航向的结构感知扰动,并监督模型恢复原始专家轨迹,从而让模型学会识别和纠正轨迹中的错误;随后,他们采用强化学习(RL)对完整的“决策-草稿-反思” rollout进行微调,将终端驾驶奖励分配给最终编辑后的轨迹,并通过全rollout转换传播策略梯度。
实验结果表明,全rollout RL对于耦合草稿和编辑阶段至关重要。仅使用监督训练时,推理阶段的AutoEdit最多将PDMS提升0.3;而引入RL后,提升幅度达到1.9。此外,团队还协同设计了一个高效的反思解码堆栈,结合共享前缀KV复用、交替步骤解码和融合的片上解掩码技术,使得整体流程在NVIDIA Thor平台上平均延迟仅为31.8毫秒。
在NAVSIM基准测试中,ReflectDrive-2在仅使用相机输入的情况下达到91.0 PDMS,在最佳6选1的oracle设置中达到94.8 PDMS,展现了出色的规划性能与实时推理能力。这些成果为离散扩散模型在自动驾驶中的实际应用提供了有力支持,也展示了强化学习在提升模型自校正能力方面的巨大潜力。