灵巧操作是机器人领域的一大挑战，但仿真到现实的迁移一直是部署仿真学习策略的瓶颈。现有方法依赖手动设计的领域随机化或任务特定适应，限制了其在多样化场景中的泛化能力。近期，来自中国的研究团队提出了DexSim2Real框架，该框架利用视觉语言基础模型来弥合这一差距。
DexSim2Real包含三个核心组件。首先，基础模型引导的领域随机化（FM-DR）采用视觉语言模型作为视觉真实性批评家，通过闭环CMA-ES优化仿真参数。与仅依赖文本的DrEureka等方法相比，FM-DR引入了直接的视觉反馈，从而生成更逼真的仿真环境。其次，触觉视觉交叉注意力策略（TVCAP）将交叉注意力机制应用于触觉和视觉融合，实现了零样本的仿真到现实强化学习。最后，渐进式技能课程（PSC）基于大语言模型的任务分解，结合针对接触密集型任务设计的难度调度器，使机器人能够逐步学习复杂技能。
在六个挑战性灵巧操作任务上的盲评估实验表明，DexSim2Real在真实世界中平均成功率达到78.2%，显著优于DrEureka和DeXtreme，并将仿真到现实的性能差距缩小至仅8.3%。这一成果为灵巧操作的现实部署提供了可行的新途径。