离线强化学习（Offline Reinforcement Learning, Offline RL）是一种在固定数据集上学习策略的方法，无需与环境交互。为了提升样本效率并生成数据集之外的经验，世界模型（World Model）被广泛采用。世界模型能够模拟环境的动态，从而允许智能体在模型内进行规划或生成虚拟轨迹。然而，世界模型面临一个关键挑战：模型利用（Model Exploitation）。当数据覆盖不足时，模型会在未充分探索的区域产生不准确的预测，这些错误会被策略利用，导致次优或危险的行为。传统的解决方法有两种：一是收集更多专家演示数据，但这样成本高昂、可能不安全或不可行；二是采用保守算法，避免不确定的区域，但这会限制模型的泛化能力。
针对这一问题，来自研究团队的Logan Mondal Bhamidipaty等人提出了一种名为RENEW的新方法。RENEW的核心思想是利用人类偏好来直接修复模型利用。人类拥有强大的直观物理理解能力，能够轻易识别世界模型产生的荒谬动态幻觉（例如，物体不自然地运动）。研究者将这一过程形式化为“动力学学习从人类反馈”（Dynamics Learning from Human Feedback, DLHF）。DLHF基于Bradley-Terry偏好损失，在学习的动力学模型下对轨迹的对数似然进行优化。具体来说，人类观察模型生成的不同轨迹，并指出哪些看起来更合理。这些偏好信号用于调整模型，使其生成更符合物理规律的轨迹。
然而，直接的DLHF方法样本效率低下，需要大量人类偏好才能有效。为此，RENEW引入了认知不确定性（Epistemic Uncertainty）度量。认知不确定性衡量模型在其预测中缺乏数据的程度。RENEW利用这一度量，将微调集中在模型最容易被利用、不确定性最高的区域，从而显著减少所需的人类偏好数量。同时，这种方法还有助于限制灾难性遗忘——即在微调新任务时忘记之前学到的知识。
实验在多个环境中进行，包括Jumanji（一系列复杂的组合优化任务）和经典控制环境（如CartPole和HalfCheetah）。结果表明，尽管朴素的DLHF需要巨大的偏好预算，RENEW通过提高样本效率、限制灾难性遗忘和减少世界模型中的利用，使这一框架变得实用。总体而言，RENEW提供了初步证据，表明人类偏好可以直接用于监督世界模型的动力学，为离线模型强化学习中的利用问题提供了新的解决思路。该研究为未来将人类直觉与机器学习结合，解决数据覆盖不足导致的模型漏洞开辟了新的方向。