近年、自己対戦強化学習は、人間データを一切使わずに運転ポリシーを訓練する手法として注目されている。大規模シミュレーションを活用することで、高価な人間の運転デモデータを代替し、理論上無限の訓練データを生成できるため、現実世界のデータへの依存を大幅に低減できる。しかし、純粋な自己対戦で訓練されたポリシーは、効率的ではあるものの、人間の習慣とかけ離れた「異星的な」運転ルールを学習し、実用化には不向きだった。例えば、人間のドライバーが通常取らない急加速や急ハンドル、不自然な車間距離などが観察され、人間との共存環境での安全性や快適性に問題があった。
従来の研究では、複雑な報酬設計やドメインランダム化によって行動のずれを緩和しようとしてきたが、これらの手法は脆弱で労力がかかる。オランダの研究チームは、人間データを完全に捨てるのではなく、最小限の安全目標報酬に正則化項として追加する新たな手法を提案した。具体的には、二段階の最適化フレームワークを採用し、第一段階では人間のデモデータをソフト制約として使用してポリシーを人間の行動パターンに近づけ、第二段階では安全リスクを最小化する報酬で基本的な安全性を確保する。その結果、わずか30分の人間デモデータ（模倣学習の2500分の1）で、予備の人間軌道と協調するポリシーが得られ、訓練は一般消費者向けGPU1台で15時間で完了する。
論文著者らは、人間データを「良いシチューのスパイス」に例え、少量の人間デモが自己対戦ポリシーを人間らしい行動パターンに導くことを強調している。このバランスの取れたアプローチは、自己対戦の効率性と探索能力を維持しつつ、極めて少量の人間データで行動軌跡を効果的に制約する。研究チームは広範なアブレーション実験を通じて、30分の人間データが最適な選択であり、それより少ないとポリシーが異質なままであり、多いとデータ収集コストが増加する割に性能向上が限られることを示した。
研究チームは全コードを公開し、デモ動画も提供している。この成果は、自動運転システムの人間ラベルデータへの依存度を大幅に低減し、自律システムと人間ドライバーの安全な相互作用を促進することが期待される。さらに、この手法は自動運転に限らず、人間との互換性が求められる他のロボット制御タスク（ドローン航行や産業用ロボットアーム操作など）にも応用可能である。