跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

风险感知的随机结果偏好学习

文章摘要

人类对不确定结果的评估存在风险敏感性,而传统奖励学习使用期望效用(EU)模型却忽略了这一点。本文提出基于累积前景理论(CPT)的偏好学习方法,在社交机器人导航实验中,对于风险敏感用户的偏好,CPT方法比EU方法显著降低了遗憾值,强调了建模人类风险敏感性的重要性。

来源arXiv Robotics作者: Yi-Shiuan Tung, Yuni Wu, Wei Jiang, Alessandro Roncone, Bradley Hayes
风险感知的随机结果偏好学习
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

在人机交互领域,从人类偏好中学习奖励函数被广泛用于使机器人行为与用户期望对齐。然而,现有方法大多假设人类使用期望效用(EU)模型评估不确定结果,即线性地按概率加权结果效用。行为经济学研究表明,人类在实际决策中具有系统性的风险敏感性:他们会高估罕见负面事件的概率,并表现出损失厌恶。这种偏差在社交机器人导航等安全关键应用中尤为突出,因为碰撞等负面结果虽然罕见,但后果严重。

为弥补这一差距,研究者引入累积前景理论(CPT)——一种非线性决策模型,并将其嵌入Bradley-Terry偏好学习框架。CPT通过概率权重函数和损失厌恶参数,更真实地刻画人类对风险的主观态度。实验在社交机器人导航场景中进行,比较了基于EU和CPT的学习器。结果显示,当偏好由风险敏感用户生成时,CPT学习器恢复的奖励函数在后悔值上显著低于EU学习器。后悔值衡量学习策略与最优策略的差距,较低的后悔值意味着更接近用户的实际偏好。

进一步分析表明,忽略风险敏感性会导致安全关键情境下的次优决策,例如机器人可能因低估碰撞风险而采取过激动作。该研究强调,在随机机器人交互中建模人类风险敏感性至关重要。未来工作将探索更复杂场景下的CPT鲁棒性,并考虑在实际系统中部署。该成果已在2026年ICRA人机交互与机器人学习研讨会上展示。

展开要点与分析

文章情报

工程师进阶

要点

  • 传统偏好学习使用期望效用模型,忽略人类风险敏感性
  • 提出基于累积前景理论(CPT)的方法来模拟人类决策
  • 实验显示CPT在风险敏感用户偏好下表现优于EU
  • 强调在机器人导航等安全关键场景中建模风险敏感性的必要性

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。