機器人學習中的進度獎勵建模：綜述
本文全面綜述了機器人學習中的進度獎勵建模方法，指出現有終端成功信號的不足，並提出統一框架，從模型接口、信號構建方法和數據基準三個角度系統梳理了該領域的研究進展與侷限性。
來源arXiv Robotics作者: Jianshu Zhang, Keliang Wu, Haoran Lu, Anbang Liu, Ce Zhang, Weijie Yin, Chengxuan Qian, Xiyuan Yang, Zhenyu Pan, Guo Ye, Han Liu
機器人學習在動態環境和大行為空間中運行，傳統的終端成功信號僅能告知任務是否完成，無法反映當前行為是推進、停滯還是倒退。為此，近年來研究者越來越多地探索進度獎勵（progress reward），即在任務執行過程中提供反饋。然而，該領域缺乏共享框架，現有方法在觀測類型、目標規範、輸出信號、監督來源和評估協議上各不相同，導致難以相互比較和理解其驗證結果。本綜述為機器人學習中的進度獎勵建模提供了統一視角。作者將領域組織為三個相互關聯的步驟：首先研究進度模型的接口，從外部定義問題——模型接收什麼信息，產生何種形式的進度信號；然後深入模型內部，研究構建該信號的方法，揭示進度估計和獎勵生成背後的不同假設與機制；最後考察支撐這些方法的數據和基準，展示如何獲得進度監督以及不同評估實際衡量的內容。三者共同連接了進度模型是什麼、如何構建以及如何驗證其質量。綜述還總結了當前方法的主要侷限，包括過度依賴人工標註、缺乏統一基準、對複雜任務適應性不足等問題，並討論了未來研究方向，如學習型進度估計、跨任務泛化以及與環境交互的在線學習等。本文為從事機器人學習和強化學習的研究者提供了系統性的參考，有助於推動該領域向更統一和可比較的方向發展。