オフライン強化学習（Offline RL）は、固定データセット上でポリシーを学習する手法であり、環境との相互作用を必要としない。サンプル効率を向上させ、データセットを超えた経験を生成するために、ワールドモデル（World Model）が広く利用されている。ワールドモデルは環境のダイナミクスをシミュレートし、エージェントがモデル内で計画を立てたり仮想的な軌跡を生成したりすることを可能にする。しかし、ワールドモデルはモデル悪用（Model Exploitation）という重要な課題に直面している。データカバレッジが不十分な領域では、モデルは不正確な予測を生成し、その誤りがポリシーに悪用され、準最適または危険な行動につながる可能性がある。従来の解決策としては、専門家のデモンストレーションを追加収集する方法（コストが高く、安全性や可用性に問題がある）や、不確実な領域を避ける保守的アルゴリズムを使用する方法（汎化が制限される）があった。
この問題に対して、Logan Mondal Bhamidipaty氏らの研究チームはRENEWという新しい手法を提案した。RENEWの核心は、人間の好みを直接利用してモデル悪用を修復することである。人間は強力な直感的物理理解を持っており、ワールドモデルが生成する不合理なダイナミクスの幻覚（例えば、物体が不自然に動くなど）を容易に見抜くことができる。研究者らはこのプロセスを「人間からのフィードバックによるダイナミクス学習」（Dynamics Learning from Human Feedback, DLHF）として形式化した。DLHFはブラッドリー・テリー型の選好損失を用いて、学習されたダイナミクスモデルの下での軌跡の対数尤度を最適化する。具体的には、人間がモデルによって生成された異なる軌跡を観察し、どちらがより合理的かを示す。これらの選好信号は、モデルがより物理法則に従った軌跡を生成するように調整するために使用される。
しかし、ナイーブなDLHFはサンプル効率が悪く、効果を上げるには大量の人間の選好が必要である。そこでRENEWは、認識的不確実性（Epistemic Uncertainty）の尺度を導入する。認識的不確実性は、モデルの予測におけるデータ不足の程度を測定する。RENEWはこの尺度を利用して、モデルが最も悪用されやすく、不確実性が高い領域に微調整を集中させる。これにより、必要な人間の選好の数を大幅に削減できる。さらに、このアプローチは破滅的忘却（新しいタスクを微調整する際に以前の知識を忘れること）を制限するのにも役立つ。
実験は、Jumanji（一連の複雑な組み合わせ最適化タスク）や古典的な制御環境（CartPoleやHalfCheetahなど）を含む複数の環境で実施された。結果は、ナイーブなDLHFが莫大な選好予算を必要とするのに対し、RENEWはサンプル効率を向上させ、破滅的忘却を制限し、事前学習済みワールドモデルにおける悪用を低減することで、フレームワークを実用的なものにすることを示した。全体として、RENEWは人間の選好が直接ワールドモデルのダイナミクスを監視できるという初期の証拠を提供し、オフラインモデルベース強化学習における悪用問題に取り組む新しいアプローチを提供する。この研究は、人間の直感と機械学習を組み合わせて、データカバレッジ不足によるモデルの脆弱性に対処する新たな方向性を切り開くものである。