ロボット操作における模倣学習のスケーリングにおいて、大規模で高品質なデモンストレーションデータの不足がボトルネックとなっている。この課題に対処するため、研究者らはCOBALTを提案した。これは、シミュレーションと実世界の両方でロボット学習を大規模に民主化することを目的としたテレオペレーションプラットフォームである。本論文はarXivに2026年5月18日に投稿され、Ayush Agarwalら9名による共著である。
COBALTの中核は、ベクトル化環境を利用したスケーラブルで負荷分散されたインフラにある。これにより、単一GPU上で複数ユーザーが同時にテレオペレーションを行うことが可能となり、テレオペレーションコストを大幅に削減する。オペレーターは、単一または二台のスマートフォン、VRヘッドセット、3Dマウス、キーボードなど、地球上のほぼどこからでも一般的なデバイスを用いて接続できる。インメモリデータキャッシュと効率的なビデオストリーミングにより、制御とレンダリングの同期が保たれ、GPUあたり最大8人の同時ユーザーに対して20Hzで数十人の同時ユーザーを維持し、エンドツーエンドの遅延は100ミリ秒未満である。さらに、8つのGPUにまたがる256のシミュレーションクライアントの安定動作を実証し、ハードウェア間および個々のサーバー内でのスケーラビリティを示した。
スマートフォンベースのテレオペレーションの実際の有効性を評価するため、研究チームは包括的なユーザー研究を実施した。その結果、スマートフォンによるテレオペレーションは専用ハードウェアと同等かそれ以上の性能を発揮し、より迅速で人間工学的なデータ収集を可能にすることが示された。データ品質を確保するため、COBALTはリアルタイム指標のスイートを記録し、劣悪なデモンストレーションを自動的にフィルタリングする。さらに、構造化されたユーザー訓練カリキュラムがデータ収集品質を大幅に向上させることも実証された。
ユーザー研究からの洞察に基づき、研究者らは大規模で高品質なパイロットデータセットをクラウドソーシングで収集した。5日間で9カ国から7,500以上のデモンストレーション（合計50時間以上）がスマートフォンを用いて収集された。研究チームは最先端の模倣学習アルゴリズムを訓練することでデータセットの品質を検証した。COBALTプラットフォームは、ロボット学習コミュニティに低コストでアクセスしやすいデータ収集パラダイムを提供し、ロボット操作における模倣学習のスケーラブルな応用を促進する可能性がある。詳細はプロジェクトページcobalt-teleop.github.ioを参照されたい。