人形ロボットのタスクポリシーを実環境に展開するには、回復不能な転倒を事前に予測し、適切なタイミングでフォールバックを発動できる信頼性の高いランタイムモニタが不可欠である。本論文は、このモニタの合成を、与えられたフォールバックポリシーが持つ確率的かつ有限時間の回復可能性エンベロープを学習する問題として定式化している。すなわち、モニタは現在の状態と残り時間の中で、フォールバックによって転倒を回避できる可能性が残っているかどうかを判断する必要がある。
しかし、このようなエンベロープを直接学習するのは容易ではない。既存手法は、訓練データが回復可能性エンベロープを自然にカバーしていると仮定しているが、接触の多いシステムではそのようなデータの取得自体が大きなボトルネックとなる。その結果、真のエンベロープの一部しか回復できず、分布外(OOD)入力に対して楽観的な幻覚を生じやすい。つまり、実際には回復不能な状態を安全だと誤認してしまうのである。
この問題を解決するため、著者らは価値学習と能動的探索を交互に繰り返す統一フレームワークを提案する。データ探索は到達・回避問題として再定式化され、不確実性に導かれる探索器が、確実に回復不能と判断される領域を避けつつ、未見の状態を系統的に発見する。このループはさらに、時間差分(TD)とモンテカルロを組み合わせた目的関数によって支えられ、分布内での正確な価値予測と信頼性の高い不確実性推定を実現する。残存する高不確実性領域を明示的に回復不能として扱うことで、モニタはOODにおける楽観的な幻覚を軽減する。
提案手法は、確率的ベンチマークと29自由度のUnitree G1ヒューマノイドで評価された。その結果、モニタのカバレッジと精度が大幅に向上し、実機ハードウェアへのゼロショット転移にも成功している。この研究は、特に接触の多いシナリオにおいて、完全な訓練データの取得が難しい人形ロボットの安全な展開に向けた有望なランタイムモニタリング手法を提供するものである。