巧みな操作はロボット工学における大きな課題ですが、シミュレーションで学習したポリシーを実世界に展開する際のシミュレーションから実世界への転移は依然として重要なボトルネックです。既存の手法は手動で設計されたドメインランダム化やタスク固有の適応に依存しており、多様な操作シナリオへの汎用性が限られていました。最近、中国の研究チームが提案したDexSim2Realフレームワークは、視覚言語基盤モデルを活用してこのギャップを埋めるものです。
DexSim2Realは3つの主要コンポーネントで構成されています。まず、基盤モデルガイドによるドメインランダム化（FM-DR）は、視覚言語モデルを視覚的リアリズム批評家として使用し、閉ループCMA-ESを用いてシミュレーションパラメータを最適化します。テキストベースのDrEurekaなどの手法と比較して、FM-DRは直接的な視覚フィードバックを導入することで、より現実的なシミュレーション環境を生成します。次に、触覚視覚クロスアテンションポリシー（TVCAP）は、クロスアテンション機構を触覚と視覚の融合に適用し、ゼロショットでのシミュレーションから実世界への強化学習を実現します。最後に、段階的スキルカリキュラム（PSC）は、大規模言語モデルによるタスク分解に基づき、接触の多い巧みな操作タスクに特化した難易度スケジューラを備えており、ロボットが段階的に複雑なスキルを学習できるようにします。
6つの困難な巧みな操作タスクにおけるブラインド評価実験では、DexSim2Realは実世界での平均成功率78.2%を達成し、DrEurekaやDeXtremeを上回りました。さらに、シミュレーションと実世界の性能差をわずか8.3%に低減しました。この成果は、巧みな操作の実世界展開に向けた有望な新手法を提供するものです。