跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

風險感知的隨機結果偏好學習

文章摘要

人類對不確定結果的評估存在風險敏感性,而傳統獎勵學習使用期望效用(EU)模型卻忽略了這一點。本文提出基於累積前景理論(CPT)的偏好學習方法,在社交機器人導航實驗中,對於風險敏感使用者的偏好,CPT方法比EU方法顯著降低了遺憾值,強調了建模人類風險敏感性的重要性。

來源arXiv Robotics作者: Yi-Shiuan Tung, Yuni Wu, Wei Jiang, Alessandro Roncone, Bradley Hayes
風險感知的隨機結果偏好學習
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

在人機互動領域,從人類偏好中學習獎勵函式被廣泛用於使機器人行為與使用者期望對齊。然而,現有方法大多假設人類使用期望效用(EU)模型評估不確定結果,即線性地按機率加權結果效用。行為經濟學研究表明,人類在實際決策中具有系統性的風險敏感性:他們會高估罕見負面事件的機率,並表現出損失厭惡。這種偏差在社交機器人導航等安全關鍵應用中尤為突出,因為碰撞等負面結果雖然罕見,但後果嚴重。

為彌補這一差距,研究者引入累積前景理論(CPT)——一種非線性決策模型,並將其嵌入Bradley-Terry偏好學習框架。CPT透過機率權重函式和損失厭惡引數,更真實地刻畫人類對風險的主觀態度。實驗在社交機器人導航場景中進行,比較了基於EU和CPT的學習器。結果顯示,當偏好由風險敏感使用者生成時,CPT學習器恢復的獎勵函式在後悔值上顯著低於EU學習器。後悔值衡量學習策略與最優策略的差距,較低的後悔值意味著更接近使用者的實際偏好。

進一步分析表明,忽略風險敏感性會導致安全關鍵情境下的次優決策,例如機器人可能因低估碰撞風險而採取過激動作。該研究強調,在隨機機器人互動中建模人類風險敏感性至關重要。未來工作將探索更復雜場景下的CPT魯棒性,並考慮在實際系統中部署。該成果已在2026年ICRA人機互動與機器人學習研討會上展示。

展開要點與分析

文章情報

工程師進階

要點

  • 傳統偏好學習使用期望效用模型,忽略人類風險敏感性
  • 提出基於累積前景理論(CPT)的方法來模擬人類決策
  • 實驗顯示CPT在風險敏感使用者偏好下表現優於EU
  • 強調在機器人導航等安全關鍵場景中建模風險敏感性的必要性

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。