arXivに投稿された新しい研究は、連続行動ポリシーにおける選好アライメントの根本的なボトルネックを解決するDIAL（運転意図増幅強化学習）フレームワークを提案している。現在の単一デモ軌跡に基づく連続行動ポリシーはモード崩壊に悩まされている。すなわち、サンプルがデモ操作に集中し、意味的に異なる代替案を生成できない。この制限により、選好ベースの評価におけるベストN性能が制限され、理想的な選択器でも欠落した分布から回復できない。
DIALは2段階アプローチを採用する。第1段階では、フローマッチング動作ヘッドを離散意図ラベルで条件付け、分類器なしガイダンス（CFG）を導入する。これにより、異なる操作モードに沿ってサンプリング分布を拡大し、単一デモのモード崩壊を打破する。第2段階では、マルチインテントグループ相対ポリシー最適化（GRPO）により拡大された分布を選好強化学習に持ち込む。この最適化は各選好グループ内のすべての意図クラスを網羅し、微調整が現在の選好モードに再崩壊するのを防ぐ。
エンドツーエンド運転タスクWOD-E2Eで評価した結果、DIALは複数のベースラインを凌駕した。ビジョン・トゥ・アクション（VA）およびビジョン言語アクション（VLA）の教師ありファインチューニング（SFT）ベースラインは、ベストオブ128で人間運転デモを下回った。最強の先行手法RAPはベストオブ64で評価者フィードバックスコア（RFS）8.5に留まった。一方、インテントCFGサンプリングはベストオブ128でRFS 9.14を達成し、初めて従来最良（RAP 8.5）と人間運転デモ（8.13）の両方を上回った。さらに、マルチインテントGRPOは保持データのRFSを7.681から8.211に向上させ、すべての単一インテントベースラインはピークが低く、訓練終了時に性能が低下した。
これらの結果は、デモから訓練された連続行動ポリシーに対する選好強化学習のボトルネックが、ポリシーの更新方法だけでなく、最適化されるサンプリング分布の拡大と維持にあることを示唆している。DIALフレームワークは自動運転などの連続制御タスクに新たな視点を提供し、離散意図によるガイドがポリシーの多様性維持に有効であることを実証している。