閉ループ運転シミュレータは通常、ほぼ同じように振る舞う非自車交通エージェントで環境を満たしている。これらのエージェントは、ルールベースの交通マネージャか、単一の行動モードに向けて訓練された学習モデルによって生成される。最近の研究では、観測データへの事後ラベル付けやLLMが推定した報酬重みを通じてスタイルの variation を導入しているが、これらの信号はスタイルが何を報酬すべきかの代理であり、人間が明示的にそのスタイルで運転するよう指示されたデモンストレーションではない。
そこで著者らはPersonaDriveを提案する。これは、スタイル指示付き人間運転データセットから検索したデモンストレーションで、視覚-言語-行動(VLA)運転エージェントを条件付けするパイプラインである。データセットでは、参加者がドライバー・イン・ザ・ループ・リグ上で、攻撃的、中立的、保守的の3つの指示の下、CARLAリーダーボードのルートを運転した。
パイプラインは3つの段階からなる。第1段階では、画像とテキストの複合類似度スコアを用いて、スタイルごとの人間運転データに対してオフラインの三元組マイニングを行う。第2段階では、凍結した視覚特徴と小さな制御エンコーダを融合する軽量検索ヘッドを、スタイルごとのデータベース上で訓練する。第3段階では、単一のVLAバックボーンを微調整し、ウェイポイント予測時に検索されたコンテキストポイントをインコンテキストの行動デモとして扱うようにする。
推論時には、同じバックボーンを、検索ヘッドが問い合わせるスタイルごとのデータベースを切り替えることで任意のスタイルに条件付けできる。したがって、スタイルの選択にはスタイルごとの再トレーニングが不要であり、閉ループシミュレーションのために人間スタイルで多様な非自車エージェントを実現できる。
Bench2Driveベンチマークでは、スタイルなしのPersonaDriveは運転スコアをSimLingo比で4.6%、HiP-AD比で2.5%改善した。スタイル条件付きでは、すべてのスタイルで最高の運転スコアを達成し、スタイル間の差は約2%以内に収まった。最も弱いスタイルでも、最強のベースラインであるDMWを5.4%上回った。さらに、保守的指示から攻撃的指示へ変化させると、平均速度と加速度はそれぞれ18%と25%上昇した。