機器人學習中的進度獎勵建模：綜述

機器人學習在動態環境和大行為空間中執行，傳統的終端成功訊號僅能告知任務是否完成，無法反映當前行為是推進、停滯還是倒退。為此，近年來研究者越來越多地探索進度獎勵（progress reward），即在任務執行過程中提供反饋。然而，該領域缺乏共享框架，現有方法在觀測型別、目標規範、輸出訊號、監督來源和評估協議上各不相同，導致難以相互比較和理解其驗證結果。本綜述為機器人學習中的進度獎勵建模提供了統一視角。作者將領域組織為三個相互關聯的步驟：首先研究進度模型的介面，從外部定義問題——模型接收什麼資訊，產生何種形式的進度訊號；然後深入模型內部，研究構建該訊號的方法，揭示進度估計和獎勵生成背後的不同假設與機制；最後考察支撐這些方法的資料和基準，展示如何獲得進度監督以及不同評估實際衡量的內容。三者共同連線了進度模型是什麼、如何構建以及如何驗證其質量。綜述還總結了當前方法的主要侷限，包括過度依賴人工標註、缺乏統一基準、對複雜任務適應性不足等問題，並討論了未來研究方向，如學習型進度估計、跨任務泛化以及與環境互動的線上學習等。本文為從事機器人學習和強化學習的研究者提供了系統性的參考，有助於推動該領域向更統一和可比較的方向發展。