産業オートメーションは転換期を迎えており、フィジカルAIが硬直的で手作業で設計されたシステムから、より柔軟で適応性の高いシステムへの移行を推進している。この変化により、大規模な実世界のロボットデモンストレーションデータの需要が高まり、テレオペレーションがデータ収集の重要な手段として注目されている。しかし、高品質なテレオペレーションによるデモンストレーションを実際に得ることは依然として困難である。初心者のオペレータは、非効率な動き、繰り返しの修正、ロボットの関節限界付近での操作などにより、タスク自体は成功しても下流での利用には最適でないエピソードを生成することが多い。
本論文では、テレオペレーションのループを閉じるデータ品質評価・フィードバック（DQAF）フレームワークを提案する。このフレームワークは、エピソード終了直後に、意味的なタスク進捗とロボットのテレメトリに基づいたフィードバックを提供する。具体的には、サブタスクの進捗、動きの滑らかさ、停止、運動学的限界といった品質に関連するシグナルを抽出し、それらを構造化された品質評価と実行可能な自然言語フィードバックに変換する。単なる成功か失敗かという二値的なフィードバックとは異なり、提案システムはエピソードがなぜ最適でないのかを説明し、次の試行で修正すべき具体的な行動を強調する。
提案フレームワークの評価は、診断的検証研究とパイロットユーザー研究を通じて行われた。検証研究では、データセットのキュレーション中にシステムを人間のレビュー担当者と比較し、拒否理由と改善のための実行可能なフィードバックを生成した。パイロット研究では、2つの操作タスクに対して3名の初心者オペレータを対象に実施した。その結果、システムによる即時の自動エピソード後フィードバックを受けたオペレータは、受けなかったオペレータよりも早く上達し、より高品質なデモンストレーションを早期に生成することが示された。この研究は、自動化された品質評価とフィードバックがテレオペレーションによるデータ収集の効率と品質を向上させる可能性を示唆している。