離線強化學習（Offline Reinforcement Learning, Offline RL）是一種在固定數據集上學習策略的方法，無需與環境交互。為了提升樣本效率並生成數據集之外的經驗，世界模型（World Model）被廣泛採用。世界模型能夠模擬環境的動態，從而允許智能體在模型內進行規劃或生成虛擬軌跡。然而，世界模型面臨一個關鍵挑戰：模型利用（Model Exploitation）。當數據覆蓋不足時，模型會在未充分探索的區域產生不準確的預測，這些錯誤會被策略利用，導致次優或危險的行為。傳統的解決方法有兩種：一是收集更多專家演示數據，但這樣成本高昂、可能不安全或不可行；二是採用保守算法，避免不確定的區域，但這會限制模型的泛化能力。
針對這一問題，來自研究團隊的Logan Mondal Bhamidipaty等人提出了一種名為RENEW的新方法。RENEW的核心思想是利用人類偏好來直接修復模型利用。人類擁有強大的直觀物理理解能力，能夠輕易識別世界模型產生的荒謬動態幻覺（例如，物體不自然地運動）。研究者將這一過程形式化為“動力學學習從人類反饋”（Dynamics Learning from Human Feedback, DLHF）。DLHF基於Bradley-Terry偏好損失，在學習的動力學模型下對軌跡的對數似然進行優化。具體來説，人類觀察模型生成的不同軌跡，並指出哪些看起來更合理。這些偏好信號用於調整模型，使其生成更符合物理規律的軌跡。
然而，直接的DLHF方法樣本效率低下，需要大量人類偏好才能有效。為此，RENEW引入了認知不確定性（Epistemic Uncertainty）度量。認知不確定性衡量模型在其預測中缺乏數據的程度。RENEW利用這一度量，將微調集中在模型最容易被利用、不確定性最高的區域，從而顯著減少所需的人類偏好數量。同時，這種方法還有助於限制災難性遺忘——即在微調新任務時忘記之前學到的知識。
實驗在多個環境中進行，包括Jumanji（一系列複雜的組合優化任務）和經典控制環境（如CartPole和HalfCheetah）。結果表明，儘管樸素的DLHF需要巨大的偏好預算，RENEW通過提高樣本效率、限制災難性遺忘和減少世界模型中的利用，使這一框架變得實用。總體而言，RENEW提供了初步證據，表明人類偏好可以直接用於監督世界模型的動力學，為離線模型強化學習中的利用問題提供了新的解決思路。該研究為未來將人類直覺與機器學習結合，解決數據覆蓋不足導致的模型漏洞開闢了新的方向。