在安全關鍵環境中訓練智能體策略並部署良好且安全的策略是一項重大挑戰，尤其是在環境動態未知且缺乏合適獎勵函數的情況下。傳統的強化學習在此類場景中往往不切實際，因為無法預先定義明確的獎勵信號，因此需要藉助人類輸入來引導學習。針對這一問題，研究人員提出了DROPJ（Deep Reinforcement learning with Online Preferences and Justifications）方法，這是一種以人為中心的安全訓練與部署框架，旨在利用人類偏好和理由來學習安全行為。
DROPJ的工作流程分為幾個關鍵步驟。首先，它從一個先前的真實世界軌跡數據集中學習一個世界模型，該模型實際上是一個學習得到的模擬器，能夠近似環境的動態。然後，人類操作員在這個模擬器中進行交互，生成若干條信息豐富的模擬軌跡。這些軌跡的設計目標是覆蓋可能的關鍵場景，從而提供高效的訓練數據。接着，研究人員從這些軌跡中採樣成對的軌跡片段，並請人類對每對片段表達偏好，同時提供選擇理由——即判斷依據。這些帶有理由的偏好數據隨後被用於訓練一個獎勵模型，該模型能夠反映人類對安全與效能的權衡。最後，將訓練好的獎勵模型與世界模型相結合，通過模型預測控制（MPC）直接部署智能體，無需額外的策略網絡。
在真實用户實驗中，DROPJ表現出顯著優勢。與其他策略相比，從用户生成信息豐富的模擬軌跡可以大幅降低訓練過程中的計算成本，同時還能提升部署時的性能。在基於學習模擬器的訓練中，使用偏好反饋而非其他類型的反饋（如數值評分或示範）能顯著提高部署性能。此外，伴隨偏好提供的安全理由可以進一步增強安全性，或優先考慮用户指定的安全方面，例如避免某些危險行為。
該研究的論文版本長達42頁，包含18張圖，是ICAART 2026會議論文的擴展版，並已提交至該會議的後出版精選論文集（Lecture Notes in Artificial Intelligence）。論文主題涵蓋人工智能和機器學習。DROPJ方法為安全智能體訓練提供了一條實用且高效的路徑，尤其適用於那些無法預先定義獎勵函數的安全關鍵應用，如自動駕駛、機器人導航和醫療輔助系統。