通过世界模型从人类偏好与理由中学习安全智能体行为
本文提出DROPJ方法，一种以人为中心的安全训练与部署框架。该方法先利用先前真实轨迹学习世界模型，再让人类在模拟器中生成信息丰富的模拟轨迹，并收集人类对轨迹片段的偏好及其理由。由此训练奖励模型，结合世界模型通过模型预测控制直接部署智能体。实验表明，生成信息丰富的模拟轨迹可显著降低训练计算成本并提升部署性能，而偏好反馈比其它反馈类型更能提升性能，且安全理由能增强安全性或优先考虑用户指定的安全方面。
在安全关键环境中训练智能体策略并部署良好且安全的策略是一项重大挑战，尤其是在环境动态未知且缺乏合适奖励函数的情况下。传统的强化学习在此类场景中往往不切实际，因为无法预先定义明确的奖励信号，因此需要借助人类输入来引导学习。针对这一问题，研究人员提出了DROPJ（Deep Reinforcement learning with Online Preferences and Justifications）方法，这是一种以人为中心的安全训练与部署框架，旨在利用人类偏好和理由来学习安全行为。
DROPJ的工作流程分为几个关键步骤。首先，它从一个先前的真实世界轨迹数据集中学习一个世界模型，该模型实际上是一个学习得到的模拟器，能够近似环境的动态。然后，人类操作员在这个模拟器中进行交互，生成若干条信息丰富的模拟轨迹。这些轨迹的设计目标是覆盖可能的关键场景，从而提供高效的训练数据。接着，研究人员从这些轨迹中采样成对的轨迹片段，并请人类对每对片段表达偏好，同时提供选择理由——即判断依据。这些带有理由的偏好数据随后被用于训练一个奖励模型，该模型能够反映人类对安全与效能的权衡。最后，将训练好的奖励模型与世界模型相结合，通过模型预测控制（MPC）直接部署智能体，无需额外的策略网络。
在真实用户实验中，DROPJ表现出显著优势。与其他策略相比，从用户生成信息丰富的模拟轨迹可以大幅降低训练过程中的计算成本，同时还能提升部署时的性能。在基于学习模拟器的训练中，使用偏好反馈而非其他类型的反馈（如数值评分或示范）能显著提高部署性能。此外，伴随偏好提供的安全理由可以进一步增强安全性，或优先考虑用户指定的安全方面，例如避免某些危险行为。
该研究的论文版本长达42页，包含18张图，是ICAART 2026会议论文的扩展版，并已提交至该会议的后出版精选论文集（Lecture Notes in Artificial Intelligence）。论文主题涵盖人工智能和机器学习。DROPJ方法为安全智能体训练提供了一条实用且高效的路徑，尤其适用于那些无法预先定义奖励函数的安全关键应用，如自动驾驶、机器人导航和医疗辅助系统。