VLAC-Cutガイドパイプラインによる大規模ロボットポストトレーニングにおける人間効率の最大化

視覚言語行動（VLA）モデルを下流タスクに適応させる際、単一のデータラウンドではすべての問題を解決できないため、複数回のポストトレーニングが必要です。人間の効率性、すなわち単位労力と時間あたりのポリシー改善とタスクスループットを最大化するために、本報告書ではヒューマンエフィシェントなポストトレーニングパイプラインを提案します。このパイプラインにより、少数の人間オペレータが複数のロボットを監督できるようになります。中核は専門化された分業です。訓練された遠隔操作員は高価値の遠隔介入と復旧デモに集中し、フロア操作員は複数のロボットを監視し、引き継ぎをトリガーし、物理的なリセットを行います。この役割の専門化により、タスク切り替えが減少し、オペレータの訓練コストが低減され、限られた人間の労力でより大きなロボット群のより多くのロボットインタラクションを監督できるようになります。データ利用効率を向上させるため、自動ロールアウトキュレーションツールとしてVLAC-CUTを導入します。これは自律ロボットの軌跡を進行中、アイドル、失敗誘発、回復の部分に分割し、有用なセグメントを保持し、有害または情報量の少ないものをフィルタリングします。キュレーションされたロールアウトデータは、次のポストトレーニングラウンドのためにヒューマン・イン・ザ・ループデータと組み合わされます。提案パイプラインを4つの実世界操作タスクで検証しました。反復的なポストトレーニングラウンドを通じて、最終ポリシーは80%～95%の成功率を達成し、タスクスループットはベースモデル比で1.7～4.2倍向上しました。同じ人間介入予算の下で、VLAC-CUTガイドによるロールアウト再利用は、成功率とスループットの両方でHITLのみのトレーニングを上回りました。本研究は、人間の役割を知的に割り当て、データフィルタリングを自動化することで、人間の入力を大幅に削減しながらロボット学習を向上できることを示しており、将来のロボットシステムの大規模展開にとって重要です。従来の人間のみのトレーニングと比較して、VLAC-CUTガイドパイプラインはパフォーマンスを向上させるだけでなく、オペレータの疲労とトレーニングの難しさを軽減し、産業およびサービス分野でのロボットの広範な応用の基盤を築きます。