本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

SEVI:安全な証拠ベース実世界強化学習

記事の要約

SEVIは、実世界ロボット強化学習における安全性介入フレームワークで、証拠的安全クリティックが制約違反リスクと認識的不確実性を1回の順伝播で推定し、危険または証拠不足の行動をオフライン学習済みの回復ポリシーで上書きする。

ソースarXiv Robotics著者: Shaekh Mohammad Shithil, Lantao Liu
SEVI:安全な証拠ベース実世界強化学習
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

実世界強化学習は、接触の多い操作タスクを物理ロボット上で直接学習することを可能にしたが、オンライン学習中の不安全なインタラクションは実用展開の主要な障壁として残っている。この課題に対して、研究チームはSEVI(Safe Evidential Real-World Reinforcement Learning)を提案した。これは実世界ポリシー学習中に信頼性を考慮した安全介入を行うフレームワークである。

SEVIの中核は「証拠的安全クリティック(Evidential Safety Critic)」である。従来の安全クリティックと異なり、将来の制約違反リスクと、その予測を支える証拠の認識的不確実性を1回の順伝播で同時に推定する。これにより、ある行動が危険である可能性だけでなく、その予測自体が十分な証拠に基づいているかどうかも判断できる。

オンライン学習の段階では、SEVIは各タスクポリシーの行動を実行前に評価する。行動が不安全と予測される場合、または予測の証拠が不十分な場合、SEVIはオフラインで訓練された回復ポリシーでその行動を上書きし、ロボットをより低リスクな領域へ誘導する。この介入機構はタスク学習の効率を保ちながら、オンライン探索に追加の安全層を提供する。

評価は2つのシミュレーション操作タスクと実世界のUSB挿入タスクで、分布内および分布シフト条件を含めて実施された。タスク学習および安全クリティックのベースラインと比較して、SEVIは軌道レベルの安全予測で最も強い性能を示し、最終タスク成功率が最も高く、不安全事象数が最も少なかった。回復ベースの安全強化学習と比べて不安全事象を13.4%から57.1%削減しつつ、実行時フィルタリングの低遅延性も維持している。

論文は13ページ、図7点で、IEEE Robotics and Automation Letters(RA-L)2026に採択された。プロジェクトページも公開されており、論文は2026年10月22日にarXivへ投稿された。分類はロボティクス(cs.RO)で、人工知能および機械学習にも関連する。

要点と分析を開く

記事インテリジェンス

研究者上級

要点

  • 証拠的安全クリティックが将来の制約違反リスクと認識的不確実性を単一の順伝播で推定。
  • オンライン学習中に各タスクポリシー行動を実行前に評価し、危険または証拠不足の場合にオフライン回復ポリシーで介入。
  • 2つのシミュレーション操作タスクと実世界USB挿入タスクで、分布内および分布シフト条件下に評価。
  • 軌道レベルの安全予測、最終タスク成功率、不安全事象数のすべてで最良の結果を達成し、回復ベース安全RL比で不安全事象を13.4〜57.1%削減。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。