AgenticFocusは、人間の一人称視点ビデオからヒューマノイドロボットのポリシー学習を行う際の重要な課題を解決する革新的な複合現実合成パイプラインです。従来のビデオベースのロボット学習パイプラインは、手と物体の遮蔽、過度に単純化された動作モデル、または特殊なキャプチャハードウェアの必要性といった問題に直面していました。本論文（著者：Iaroslav Kolomietsら8名）では、通常の一人称視点ビデオを利用し、遮蔽された物体の形状を復元し、全手動作を再構築し、カメラ相対アライメントとレイヤードコンポジティングを通じてヒューマノイドの身体にリターゲティングすることで、ロボットが訓練可能なデモンストレーションを生成する新しい手法を提案しています。
このパイプラインの核心は、複合現実合成能力にあります。まず、元のビデオ内のシーンを3次元再構築し、特に手で隠された物体については、アルゴリズムによってその完全な幾何形状を推測します。次に、指の微細な動きを含む正確な全手動作を再構築します。最後に、カメラ相対アライメント技術を用いて人間の手の動きをヒューマノイドロボットの手にマッピングし、動作の一貫性を確保します。レイヤードコンポジティングにより、視覚観察とロボットの動作の同期が保証されます。特殊なキャプチャハードウェアは一切必要とせず、通常の一人称視点ビデオのみで高品質なデモンストレーションデータを生成できます。
実験結果は、AgenticFocusが軌道誤差と手首の動きの滑らかさにおいて、クロスエンボディメントのベースライン手法を大幅に上回ることを示しています。具体的には、SPARCスコアが-5.18であるのに対し、比較手法では-5.56および-6.05であり、生成されたデモンストレーションの精度と自然さが高いことが示されています。この進歩は、人間のデモンストレーションから学習する器用なロボットの開発にとって重要であり、高価な専門機器の必要性を排除し、利用可能な訓練データのソースを拡大します。本研究は2026年7月9日にarXivに提出され、ロボティクス（cs.RO）カテゴリに分類され、IDは2607.08857です。
AgenticFocusの提案は、ヒューマノイドロボット学習の分野を前進させるだけでなく、日常的な人間活動のビデオをロボット訓練データに変換するための実現可能な技術的経路を提供します。さらなる最適化により、家庭用サービスや産業操作などのシナリオで重要な役割を果たすことが期待されます。