見解：強化学習研究者はシミュレータを解くこととシミュレータを代理として使用することを区別する必要がある

強化学習（RL）研究では、シミュレータはアルゴリズムの評価や学習のために広く使用されています。しかし、ICML 2026で発表されたポジションペーパーは、研究者がシミュレータの2つの異なる使用法——シミュレータ自体を解くことと、現実世界の展開の代理として使用すること——を混同していると指摘します。Matthew Vandergrift氏らによるこの論文は、シミュレータで高いスコアを達成することに集中するあまり、研究者がシミュレータ専用の解法を採用する傾向があると述べています。例えば、環境の決定性やリセット可能性を利用する手法は、展開環境では使えません。これらの手法はシミュレータを解くためには適切かもしれませんが、代理としての使用とは根本的に異なります。

著者らは、両者の設定がエージェントの利用制約、適切なアルゴリズム、評価指標の観点で異なることを詳しく説明しています。シミュレータを解く設定では、エージェントは環境に無制限にアクセスでき、複数回の試行、リセット、任意の状態への復帰などの特権を利用できます。これにより、决定論的なプランニングや特殊な探索アルゴリズムが高いスコアを達成できますが、実世界では使えません。一方、シミュレータを展開の代理として使用する場合、エージェントは実世界と同様に、一度の軌跡からの学習に制限され、リセットや追加の訓練は許可されません。この制約の違いにより、適切なアルゴリズムも異なります。前者では最終性能を最大化する進化的アルゴリズムが有効ですが、後者ではサンプル効率や汎化性能が重要となり、メタ学習やオフラインRLが適しています。評価指標も異なり、前者は最終スコア、後者は学習曲線やロバスト性を重視すべきです。

論文では、2つの単純な実験を用いて、これらの設定を混同することの危険性を示しています。1つ目の実験では、决定論的なナビゲーションタスクで、決定性を利用したプランニングアルゴリズムがシミュレータで完全なスコアを達成しましたが、実世界のノイズを模したランダム性を導入すると、完全に失敗しました。2つ目の実験では、ランダムな遷移ダイナミクスを持つ環境で、リセットを許可されたアルゴリズムが特定の状態を繰り返し試すことで高いスコアを得ましたが、リセット禁止条件下ではランダムポリシーと同等の性能しか出ませんでした。これらの実験は、シミュレータで優れた性能を示すアルゴリズムが実世界で必ずしも成功しないことを明確に示しています。

著者らは、この混同が誤解を招く結論やリソースの無駄につながると警告し、コミュニティに対して研究においてシミュレータの使用目的を明確に区別するよう呼びかけています。具体的には、論文でシミュレータの利用方法（解決するのか代理とするのか）を明記し、それぞれに適した実験プロトコルを確立することを提案しています。例えば、リセット可能性や決定性の利用の有無を報告すること、さらにそれぞれの設定向けのベンチマークを開発することが挙げられます。この論文はICML 2026で発表され、強化学習の実験方法に関する広範な議論を引き起こし、分野の厳密性と再現性を向上させることが期待されています。