ReflectDrive-2是近期提出的一種用於自動駕駛的掩碼離散擴散規劃器,其創新之處在於將駕駛計劃表示為離散軌跡令牌,並透過並行掩碼解碼高效生成。與傳統的連續軌跡生成方法不同,離散化表示使得模型能夠利用自迴歸或擴散模型的靈活性,同時透過掩碼機制實現並行解碼,大幅提升推理速度。該模型包含一個獨立的動作專家模組,使得軌跡生成與動作執行分離,進一步增強了系統的模組化。
核心功能AutoEdit允許模型在不依賴額外精煉網路的情況下,對已生成的軌跡令牌進行原地修訂。這一自編輯能力透過兩階段訓練實現:首先,研究人員構建了沿縱向進度和橫向航向的結構感知擾動,並監督模型恢復原始專家軌跡,從而讓模型學會識別和糾正軌跡中的錯誤;隨後,他們採用強化學習(RL)對完整的“決策-草稿-反思” rollout進行微調,將終端駕駛獎勵分配給最終編輯後的軌跡,並透過全rollout轉換傳播策略梯度。
實驗結果表明,全rollout RL對於耦合草稿和編輯階段至關重要。僅使用監督訓練時,推理階段的AutoEdit最多將PDMS提升0.3;而引入RL後,提升幅度達到1.9。此外,團隊還協同設計了一個高效的反思解碼堆疊,結合共享字首KV複用、交替步驟解碼和融合的片上解掩碼技術,使得整體流程在NVIDIA Thor平臺上平均延遲僅為31.8毫秒。
在NAVSIM基準測試中,ReflectDrive-2在僅使用相機輸入的情況下達到91.0 PDMS,在最佳6選1的oracle設定中達到94.8 PDMS,展現了出色的規劃效能與即時推理能力。這些成果為離散擴散模型在自動駕駛中的實際應用提供了有力支援,也展示了強化學習在提升模型自校正能力方面的巨大潛力。