ロボットのポリシー学習をスケールさせる際の大きな課題の一つは、モデル容量ではなく、データの質と教師信号の信頼性にある。ロボットの実演は高品質な軌道教師信号を提供できるが、収集コストが高い。一方、一人称視点の動画はタスクや環境のカバレッジを広げられるものの、動きの再構成やリターゲティングの過程でノイズの多い行動ラベルが混入してしまう。Chubin Zhang氏ら10名の著者によるEgoForesightは、この問題に対処する視覚-言語-行動フレームワークであり、二つのデータ源を同時に活用し、ノイズを含む一人称視点行動上で効果的にスケールすることを目指している。
EgoForesightの中心的な考え方は二つある。第一に、信頼できない行動ラベルの影響を減らすこと。第二に、実演で示された結果を補完的な教師信号として利用することだ。このために、将来の視覚表現予測と行動生成を結合する視覚-行動フローを導入し、信頼性を考慮した行動学習と結果に基づく表現転移を一つのアーキテクチャに統合している。
行動の教師信号に関しては、信頼性条件付き破損という仕組みを採用している。データ源の信頼性に応じて、異なるノイズレベルに行動教師信号を配分し、さらに信頼性重み付き回帰によって各データ源の寄与を調整する。これにより、ノイズの多いラベルが最適化を支配するのを防ぎつつ、高品質な実演の指導力を保持できる。
ノイズ処理だけでは十分ではないため、著者らは特権的未来表現蒸留も設計している。指数移動平均の教師モデルが現在のシーンとクリーンな未来を観測し、そのシーン変化から行動に関連する構造を符号化する。その深い表現を用いて、破損した未来を入力とする浅い学生層を監督することで、ノイズの多い行動注釈を超えた結果に基づく構造情報を提供する。
これらの仕組みが相まって、ノイズを含む一人称視点行動データでの効果的なスケーリングを支えている。検証範囲において、EgoForesightはベースラインよりも急峻なスケーリング勾配を示し、事前学習データが30,000時間の時点で、実世界の開ループ行動MSEを20.5%削減し、RoboCasaの少数ショット成功率を8.1ポイント向上させた。さらに後学習後は、シミュレーションと実世界の巧みな操作タスクの双方で強い絶対性能を達成している。本論文はロボティクスとコンピュータビジョンの交差領域に位置し、プロジェクトページも公開されており、arXiv:2610.31845として発表されている。