過ぎたるは及ばざるが如し：sim2realが政策学習を妨げるとき（その対策）
本論文は、sim2realがハードウェアへのポリシー転送に必要である一方、過度な依存はインセンティブのミスアライメント、シミュレータロックイン、探索不足を引き起こすと指摘する。解決策として、ロボットの運動学を唯一の設計制約とするsim2sim2realパラダイムを提案する。
ロボティクス分野において、sim2real（シミュレーションから現実への転送）技術はポリシーをハードウェアに移行するために不可欠です。しかし、arXivに投稿された新しい論文は、sim2realへの過度な依存が逆効果となり、政策学習の進展を妨げる可能性があると指摘しています。Kyle Morgensteinらによるこの研究（2026年5月30日提出）は、現在のsim2real実践における問題を詳細に分析し、新しい解決策としてsim2sim2realパラダイムを提案しています。
論文は、sim2realの取り組みが政策学習とのインセンティブのミスアライメントを引き起こすと論じています。具体的には、現実世界の物理的制約に合わせるために、シミュレーション環境が過度に厳しい制約を課すことがあり、その結果、アルゴリズムはシミュレータロックインに陥り、シミュレーション内でのみうまく機能するポリシーに固執してしまい、未見の状況への汎化が妨げられます。この「過ぎたる」状態は、実際には革新性やロバスト性を抑制しています。
代替アプローチとして、著者らはsim2sim2realパラダイムを提案します。このパラダイムでは、ロボットの運動学のみを設計制約とし、まずシミュレーションからシミュレーション（sim2sim）のステップを経て、より柔軟な環境でポリシーを学習し、その後現実に移行します。これにより、現実世界の制約への過度な依存を緩和し、より広範なポリシー探索が可能になると期待されます。この研究は、ロボット学習と制御の分野に新たな方向性を示すものです。
論文の詳細はarXiv（ID: 2606.02636）で入手可能であり、ロボティクス（cs.RO）および人工知能（cs.AI）のサブジェクトに分類されています。研究はKyle Morgensteinと他の2名の共著者によって行われ、論文の要旨では、sim2realの取り組みはハードウェアへの効果的なポリシー転送に必要であるが、過度に行うと逆効果になることが指摘されています。著者らは問題の現状を診断・説明し、ロボットの運動学を唯一の設計制約とするsim2sim2realパラダイムを解決策として提案しています。この革新的なアプローチは、長年にわたるシミュレータロックインの問題を解決し、より効率的でロバストな政策学習の新たな道を開く可能性があります。