在人機互動領域,從人類偏好中學習獎勵函式被廣泛用於使機器人行為與使用者期望對齊。然而,現有方法大多假設人類使用期望效用(EU)模型評估不確定結果,即線性地按機率加權結果效用。行為經濟學研究表明,人類在實際決策中具有系統性的風險敏感性:他們會高估罕見負面事件的機率,並表現出損失厭惡。這種偏差在社交機器人導航等安全關鍵應用中尤為突出,因為碰撞等負面結果雖然罕見,但後果嚴重。
為彌補這一差距,研究者引入累積前景理論(CPT)——一種非線性決策模型,並將其嵌入Bradley-Terry偏好學習框架。CPT透過機率權重函式和損失厭惡引數,更真實地刻畫人類對風險的主觀態度。實驗在社交機器人導航場景中進行,比較了基於EU和CPT的學習器。結果顯示,當偏好由風險敏感使用者生成時,CPT學習器恢復的獎勵函式在後悔值上顯著低於EU學習器。後悔值衡量學習策略與最優策略的差距,較低的後悔值意味著更接近使用者的實際偏好。
進一步分析表明,忽略風險敏感性會導致安全關鍵情境下的次優決策,例如機器人可能因低估碰撞風險而採取過激動作。該研究強調,在隨機機器人互動中建模人類風險敏感性至關重要。未來工作將探索更復雜場景下的CPT魯棒性,並考慮在實際系統中部署。該成果已在2026年ICRA人機互動與機器人學習研討會上展示。