ロボット学習のための進捗報酬モデリング：包括的サーベイ

ロボット学習は動的環境と大規模な行動空間で行われ、終端成功信号はタスク完了のみを知らせる。現在の行動が進捗しているのか、停滞しているのか、以前の進捗を打ち消しているのかは分からない。このため、近年の研究ではタスク実行中にフィードバックを提供する進捗報酬（progress reward）の探索が進んでいる。しかし、現状では共有フレームワークが欠如しており、既存手法は観測、目標仕様、出力信号、監視源、評価プロトコルが異なるため、比較や結果の妥当性理解が困難である。本サーベイはロボット学習のための進捗報酬モデリングに統一的な視点を提供する。分野を3つの接続されたステップで整理する。まず進捗モデルのインターフェースを研究する。これは外部から問題を定義し、モデルがどの情報を受け取り、どの形の進捗信号を生成するかを問う。次にモデル内部に入り、信号構築に用いられる方法を研究する。これにより進捗推定と報酬生成の背後にある異なる仮定とメカニズムが明らかになる。最後にこれらの方法を支えるデータとベンチマークを調べる。これにより進捗監視がどのように得られ、異なる評価が実際に何を測定しているかが示される。これらの3つの視点は、進捗モデルが何であるか、どのように構築されるか、その品質がどのように検証されるかを結びつける。さらに現在のアプローチの主な限界を要約し、将来の研究の方向性を議論する。主な限界として、人手によるアノテーションへの過度の依存、統一ベンチマークの欠如、複雑タスクへの適応性の不足が挙げられ、将来の研究方向として、学習型進捗推定、タスク横断的な汎化、環境との相互作用を通じたオンライン学習などが議論されている。本サーベイはロボット学習と強化学習の研究者にとって体系的な参考資料となる。