在人机交互领域,从人类偏好中学习奖励函数被广泛用于使机器人行为与用户期望对齐。然而,现有方法大多假设人类使用期望效用(EU)模型评估不确定结果,即线性地按概率加权结果效用。行为经济学研究表明,人类在实际决策中具有系统性的风险敏感性:他们会高估罕见负面事件的概率,并表现出损失厌恶。这种偏差在社交机器人导航等安全关键应用中尤为突出,因为碰撞等负面结果虽然罕见,但后果严重。
为弥补这一差距,研究者引入累积前景理论(CPT)——一种非线性决策模型,并将其嵌入Bradley-Terry偏好学习框架。CPT通过概率权重函数和损失厌恶参数,更真实地刻画人类对风险的主观态度。实验在社交机器人导航场景中进行,比较了基于EU和CPT的学习器。结果显示,当偏好由风险敏感用户生成时,CPT学习器恢复的奖励函数在后悔值上显著低于EU学习器。后悔值衡量学习策略与最优策略的差距,较低的后悔值意味着更接近用户的实际偏好。
进一步分析表明,忽略风险敏感性会导致安全关键情境下的次优决策,例如机器人可能因低估碰撞风险而采取过激动作。该研究强调,在随机机器人交互中建模人类风险敏感性至关重要。未来工作将探索更复杂场景下的CPT鲁棒性,并考虑在实际系统中部署。该成果已在2026年ICRA人机交互与机器人学习研讨会上展示。