推論効率的な世界行動モデルのための4D幾何学的事前知識の学習
MECo-WAMは、トレーニング中に行動に関連する4D幾何学的事前知識をビデオ-行動表現に注入し、推論コストを増やさずにロボット操作性能を向上させる。マルチエキスパート共同トレーニング、減衰4D読み取りマスク注意、行動認識時空間幾何蒸留を採用。LIBEROで98.2%、RoboTwin 2.0で92.6%の成功率を達成。
arXivに発表された研究（著者：Jianjun Zhang氏ら、タイトル：「Learning 4D Geometric Priors for Inference-Efficient World Action Models」）は、新しい世界行動モデル（WAM）であるMECo-WAMを提案しています。このモデルは、4D幾何学的事前知識を注入することで、ロボット操作の精度と効率を向上させると同時に、推論時の計算負荷を軽量に保つことを目的としています。
世界行動モデルは、視覚的な未来のダイナミクスと実行可能な行動系列を共同でモデル化することで、ロボット操作における可能性を示しています。しかし、既存のビデオ-行動共同トレーニング手法は主に外観志向のビデオ潜在表現を最適化しており、精密な操作に必要な時間的に変化する幾何学的情報を十分に捉えられていません。そこでMECo-WAMは、マルチエキスパート共同トレーニングフレームワークを採用し、トレーニング中に軽量な4Dエキスパートを導入します。この4Dエキスパートは、凍結されたVGGTエンコーダからの関係ターゲットによって教師されます。非対称なエキスパート可視性により、補助的な幾何学情報から行動生成への非因果的な近道を防ぎます。
幾何学的知識を展開用のビデオ-行動経路に転送するために、減衰4D読み取りマスク注意機構が提案されました。この機構は、トレーニング初期に制限された現在フレームの幾何学的ガイダンスを提供し、徐々にその依存性を除去します。さらに、行動認識時空間幾何蒸留により、フレーム内の幾何学的関係とその時間的進展を整列させ、ロボットの行動に最も関連する視覚領域を強調します。
展開時には、すべての補助4Dコンポーネントが除去されるため、MECo-WAMの推論コストはベースラインモデルと完全に同一です。実験では、LIBEROベンチマークで98.2%、RoboTwin 2.0で92.6%の成功率を達成し、実世界の操作タスクでも優れた性能を示しました。これにより、計算負荷を増やさずに操作性能を大幅に向上できることが実証されました。この研究は、効率的で高精度なロボット操作のための新たな道を開くものであり、今後の産業やサービス分野での応用が期待されます。