近年、世界モデルは強化学習やロボティクスにおいて大きな進歩を遂げていますが、従来の世界モデルは明示的な行動ラベルに依存しており、実際の環境では入手が困難な場合が多くあります。この制限を打破するために、複数の研究機関からなるチーム（Tewodros Ayalewら8名）がCLAW（Continuous Latent Action World Models）を提案しました。これは、行動ラベルを一切使わずに、行動のないビデオから連続潜在行動表現と世界モデルを学習する、完全にエンドツーエンドの自己教師ありフレームワークです。論文はarXiv（番号：2606.04130）に投稿され、8ページの本文と15ページの補足資料を含んでいます。
CLAWの核心的な革新は、敵対的潜在正則化と拡散ベースのビデオ生成を組み合わせることで、構造化されセマンティックに意味のある行動表現を捉える点にあります。具体的には、CLAWは潜在行動モデルと世界モデルを同時に訓練します。潜在行動モデルはビデオから暗黙的な行動系列を推論し、世界モデルはそれらの行動が環境状態の変化をどのように引き起こすかを学習します。この共同訓練により、CLAWは視覚観測のみから推論された行動が環境遷移を誘発する仕組みを理解します。敵対的正則化は潜在行動空間の連続性と意味的豊かさを保証し、拡散ビデオ生成は将来の視覚フレームを正確に予測することを可能にします。
応用面では、CLAWは強力な能力を示しています。模倣学習では、生のビデオから抽出した潜在行動を用いて行動クローニングを実現し、ロボットが人間のデモンストレーションを観察してタスクを学習できるようにします。例えば、ロボットは人間が物体を操作するビデオを見て、同様の動作系列を自律的に再現できます。目標指向計画では、CLAWは潜在行動の系列を生成し、それらを実行可能な行動にマッピングすることで、エージェントを指定されたゴールに導きます。このアプローチは完全に視覚入力に基づいており、行動ラベルや事前定義されたスキルライブラリを必要としません。
実験は、制御、操作、ナビゲーションなどを含む多様なタスクとロボット形態で行われました。制御タスクでは倒立振子や四足歩行ロボットの運動に成功し、操作タスクではロボットアームによる掴みと配置を実現し、ナビゲーションタスクではエージェントが視覚観測に基づいて経路を計画しました。結果は、CLAWがセマンティックに豊かな潜在行動表現を生成するだけでなく、効果的な行動転移をサポートすることを示しています。すなわち、あるタスクで学習された潜在行動表現は、別の関連タスクにもうまく適応できます。計画と模倣学習の両方で、VAEベースのベースラインや教師あり行動表現学習法を含む既存の手法を上回る性能を達成しました。
CLAWの提案は、ラベルのない環境でのロボット学習に新たな道を開きます。将来的には、より複雑な対話タスク（多段階操作や人間との協調など）への拡張が期待されます。同時に、この研究はロボティクスにおける自己教師あり学習の大きな可能性を示しており、高価な人手によるアノテーションへの依存を減らす重要な一歩となります。関連するコードとモデルは公開される予定であり、さらなる研究と応用が促進されるでしょう。