靈巧操作是機器人領域的一大挑戰，但模擬到現實的遷移一直是部署模擬學習策略的瓶頸。現有方法依賴手動設計的領域隨機化或任務特定適應，限制了其在多樣化場景中的泛化能力。近期，來自中國的研究團隊提出了DexSim2Real框架，該框架利用視覺語言基礎模型來彌合這一差距。
DexSim2Real包含三個核心元件。首先，基礎模型引導的領域隨機化（FM-DR）採用視覺語言模型作為視覺真實性批評家，透過閉環CMA-ES最佳化模擬引數。與僅依賴文本的DrEureka等方法相比，FM-DR引入了直接的視覺反饋，從而生成更逼真的模擬環境。其次，觸覺視覺交叉注意力策略（TVCAP）將交叉注意力機制應用於觸覺和視覺融合，實現了零樣本的模擬到現實強化學習。最後，漸進式技能課程（PSC）基於大語言模型的任務分解，結合針對接觸密集型任務設計的難度排程器，使機器人能夠逐步學習複雜技能。
在六個挑戰性靈巧操作任務上的盲評估實驗表明，DexSim2Real在真實世界中平均成功率達到78.2%，顯著優於DrEureka和DeXtreme，並將模擬到現實的效能差距縮小至僅8.3%。這一成果為靈巧操作的現實部署提供了可行的新途徑。