在安全關鍵環境中訓練智慧體策略並部署良好且安全的策略是一項重大挑戰，尤其是在環境動態未知且缺乏合適獎勵函式的情況下。傳統的強化學習在此類場景中往往不切實際，因為無法預先定義明確的獎勵訊號，因此需要藉助人類輸入來引導學習。針對這一問題，研究人員提出了DROPJ（Deep Reinforcement learning with Online Preferences and Justifications）方法，這是一種以人為中心的安全訓練與部署框架，旨在利用人類偏好和理由來學習安全行為。
DROPJ的工作流程分為幾個關鍵步驟。首先，它從一個先前的真實世界軌跡資料集中學習一個世界模型，該模型實際上是一個學習得到的模擬器，能夠近似環境的動態。然後，人類操作員在這個模擬器中進行互動，生成若干條資訊豐富的模擬軌跡。這些軌跡的設計目標是覆蓋可能的關鍵場景，從而提供高效的訓練資料。接著，研究人員從這些軌跡中取樣成對的軌跡片段，並請人類對每對片段表達偏好，同時提供選擇理由——即判斷依據。這些帶有理由的偏好資料隨後被用於訓練一個獎勵模型，該模型能夠反映人類對安全與效能的權衡。最後，將訓練好的獎勵模型與世界模型相結合，透過模型預測控制（MPC）直接部署智慧體，無需額外的策略網路。
在真實使用者實驗中，DROPJ表現出顯著優勢。與其他策略相比，從使用者生成資訊豐富的模擬軌跡可以大幅降低訓練過程中的計算成本，同時還能提升部署時的效能。在基於學習模擬器的訓練中，使用偏好反饋而非其他型別的反饋（如數值評分或示範）能顯著提高部署效能。此外，伴隨偏好提供的安全理由可以進一步增強安全性，或優先考慮使用者指定的安全方面，例如避免某些危險行為。
該研究的論文版本長達42頁，包含18張圖，是ICAART 2026會議論文的擴充套件版，並已提交至該會議的後出版精選論文集（Lecture Notes in Artificial Intelligence）。論文主題涵蓋人工智慧和機器學習。DROPJ方法為安全智慧體訓練提供了一條實用且高效的路徑，尤其適用於那些無法預先定義獎勵函式的安全關鍵應用，如自動駕駛、機器人導航和醫療輔助系統。