來自arXiv的一項新研究提出DIAL（駕駛意圖增強強化學習）框架，旨在解決連續動作策略在偏好對齊中的根本性瓶頸。當前基於單一示範軌跡訓練的連續動作策略常常遭遇模式崩潰問題：取樣結果高度集中在示範動作周圍，無法生成語義上不同的替代方案。這一限制嚴重影響了基於偏好評估的最佳N效能——即使使用理想的選擇器，也無法從缺失的取樣分佈中恢復出多樣化的動作。
DIAL框架採用兩階段方法來應對這一挑戰。在第一階段，研究者將流匹配動作頭條件化於離散的意圖示籤，並引入分類器無關引導（CFG），從而沿著不同的操作模式擴充套件采樣分佈，有效打破了單示範模式崩潰。第二階段透過多意圖組相對策略最佳化（GRPO）將擴充套件後的分佈引入偏好強化學習，該最佳化覆蓋每個偏好組內的所有意圖類別，防止微調過程重新坍縮至當前偏好模式。
實驗在端到端駕駛任務WOD-E2E上進行，DIAL與多種基線進行了對比。視覺到動作（VA）和視覺語言動作（VLA）的監督微調（SFT）基線在最佳128取樣時均低於人類駕駛示範；最強的先前方法RAP在最佳64取樣時評分為8.5。而意圖CFG取樣在最佳128取樣時將評分提升至9.14，首次同時超越了先前最優（RAP 8.5）和人類示範（8.13）。多意圖GRPO進一步將留出集評分從7.681提升至8.211，而所有單意圖基線不僅峰值更低，而且在訓練後期出現效能下降。
這些結果表明，偏好強化學習在基於示範訓練的連續動作策略上的瓶頸不僅在於如何更新策略，更在於如何擴充套件並保護被最佳化的取樣分佈。DIAL框架為自動駕駛等連續控制任務提供了一種新穎且有效的解決方案，其成功證明了離散意圖引導在保持策略多樣性方面的關鍵作用。