安全クリティカルな環境でエージェントポリシーを訓練し、良好で安全なポリシーを展開する問題は、重要な研究課題です。特に、環境ダイナミクスが未知で適切な報酬関数が利用できない場合、従来の強化学習は非現実的であり、人間の入力を活用する必要があります。この問題に対処するため、研究者らはDROPJ（Deep Reinforcement learning with Online Preferences and Justifications）という人間中心の安全訓練・展開手法を提案しました。
DROPJのプロセスは以下の通りです。まず、事前に収集された実世界の軌跡データセットからワールドモデル（学習されたシミュレータ）を学習します。このモデルは環境のダイナミクスを近似します。次に、人間オペレータがこのシミュレータ内で「ゲームをプレイ」し、情報豊富なシミュレーション軌跡を複数抽出します。これらの軌跡は、重要なシナリオをカバーするように設計され、効率的な訓練データを提供します。その後、軌跡のセグメントペアをサンプリングし、人間にそのペアに対する好みと、その選択理由（正当化）を提供してもらいます。これらの正当化付き好みデータから報酬モデルを訓練し、人間の安全性と効用のトレードオフを反映させます。最後に、この報酬モデルをワールドモデルと組み合わせ、モデル予測制御（MPC）を用いてエージェントを直接展開します。
実際のユーザー実験により、他の戦略と比較して、ユーザーから情報豊富なシミュレーション軌跡を生成することで、訓練中の計算コストが大幅に削減され、展開時の性能も向上することが示されました。学習シミュレータ内での訓練において、他のフィードバックタイプ（数値スコアやデモンストレーションなど）よりも好みのフィードバックを使用することで、展開時の性能が大幅に向上しました。さらに、好みに伴う安全の正当化は、展開時の安全性を著しく強化したり、ユーザーが指定した安全面（例えば危険行動の回避）を優先したりできることを実証しました。
本論文は42ページ、18の図を含む拡張版であり、ICAART 2026で発表された論文を基に、同学会のポストプロシーディングス選抜論文集（Lecture Notes in Artificial Intelligence）に投稿されたものです。対象分野は人工知能と機械学習です。DROPJは、報酬関数を事前に定義できない安全クリティカルなアプリケーション（自動運転、ロボットナビゲーション、医療支援システムなど）において、実用的かつ効率的な安全エージェント訓練の道を開くものです。