ロボティクス分野では、シミュレーション環境で訓練した方策を実機に転移させるsim2real(シミュレーションから現実へ)の取り組みが不可欠とされてきた。しかし、arXivに2026年5月30日に投稿された論文「Too Much of a Good Thing: When sim2real Efforts Impede Policy Learning (And What to Do About It)」は、sim2realへの過度な注力が逆効果になり得ると指摘する。著者はKyle Morgensteinら3名で、ロボティクス(cs.RO)と人工知能(cs.AI)の分野に属する。
論文の中心的な主張は、現在のsim2realの取り組みが方策学習との間でインセンティブの不一致を引き起こしているというものだ。シミュレーションと現実のギャップを埋めようとするあまり、研究者はシミュレータに現実世界の制約や複雑さを過剰に組み込む傾向がある。その結果、シミュレータが特定のハードウェアやシナリオに過度に適合する「シミュレータロックイン」が生じ、方策学習の探索範囲が狭められてしまう。さらに、現実世界の不合理な制約を訓練の早い段階で導入することで、より優れた、あるいは堅牢な行動パターンの発見が妨げられる。
著者らはこの問題を診断・説明した上で、解決策として「sim2sim2real」パラダイムを提案する。これはシミュレーションと現実のギャップを直接埋めるのではなく、中間段階を設けるアプローチだ。具体的には、ロボットの運動学のみを唯一の設計制約とすることで、シミュレーションに現実の複雑なダイナミクスやノイズを早期に導入することを避ける。これにより、方策はより合理的な制約の下で十分な探索を行い、その後、徐々により現実に近いシミュレーションへ、最終的には実機へと転移できる。
この見解は、ロボティクス学習における「現実に近ければ近いほど良い」という暗黙の前提に疑問を投げかけ、sim2realの忠実度を追求するあまり方策学習の探索能力や汎化性能を犠牲にすべきではないと警告している。論文の全文はarXivで公開されており、PDFや実験的なHTML版を閲覧できる。