実世界強化学習は、接触の多い操作タスクを物理ロボット上で直接学習することを可能にしたが、オンライン学習中の不安全なインタラクションは実用展開の主要な障壁として残っている。この課題に対して、研究チームはSEVI(Safe Evidential Real-World Reinforcement Learning)を提案した。これは実世界ポリシー学習中に信頼性を考慮した安全介入を行うフレームワークである。
SEVIの中核は「証拠的安全クリティック(Evidential Safety Critic)」である。従来の安全クリティックと異なり、将来の制約違反リスクと、その予測を支える証拠の認識的不確実性を1回の順伝播で同時に推定する。これにより、ある行動が危険である可能性だけでなく、その予測自体が十分な証拠に基づいているかどうかも判断できる。
オンライン学習の段階では、SEVIは各タスクポリシーの行動を実行前に評価する。行動が不安全と予測される場合、または予測の証拠が不十分な場合、SEVIはオフラインで訓練された回復ポリシーでその行動を上書きし、ロボットをより低リスクな領域へ誘導する。この介入機構はタスク学習の効率を保ちながら、オンライン探索に追加の安全層を提供する。
評価は2つのシミュレーション操作タスクと実世界のUSB挿入タスクで、分布内および分布シフト条件を含めて実施された。タスク学習および安全クリティックのベースラインと比較して、SEVIは軌道レベルの安全予測で最も強い性能を示し、最終タスク成功率が最も高く、不安全事象数が最も少なかった。回復ベースの安全強化学習と比べて不安全事象を13.4%から57.1%削減しつつ、実行時フィルタリングの低遅延性も維持している。
論文は13ページ、図7点で、IEEE Robotics and Automation Letters(RA-L)2026に採択された。プロジェクトページも公開されており、論文は2026年10月22日にarXivへ投稿された。分類はロボティクス(cs.RO)で、人工知能および機械学習にも関連する。