跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

物理AI的静默失效:自主系统运行时动作授权的文献综述

文章摘要

一篇综述指出,物理AI模型可能在看似自信、合理的情况下输出具有物理后果的危险动作,而现有安全机制缺乏完整的运行时授权边界。

来源arXiv Robotics作者: Barak Or
物理AI的静默失效:自主系统运行时动作授权的文献综述
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

2026年5月23日,一篇题为《物理AI中的静默失效:自主系统运行时动作授权的文献综述》的论文提交至arXiv,作者为Barak Or。该综述关注一个日益突出的安全问题:当物理AI系统将多模态观测、语言指令和学习到的世界表征映射为具有物理后果的动作时,一旦模型出错,其失效往往悄无声息。

物理AI系统包括机器人基础模型、视觉-语言-动作模型以及基于世界模型的自主系统。它们可以驱动车辆、机器人、无人机和工业机器,做出影响真实世界的决策。然而,这类系统暴露出的安全问题无法完全被传统AI内容审核或经典机器人安全方法所覆盖。核心矛盾在于:黑箱模型可能以自信、合理且语义对齐的姿态发出物理动作指令,却实际上存在隐患。

这种隐患之所以称为“静默失效”,是因为其成因可能来自传感器漂移、遮挡、状态估计错误、分布偏移、幻觉可供性(hallucinated affordances)或无效的物理假设,而这些因素在下游硬件控制器检测到违规之前往往难以察觉。换言之,模型本身可能“看起来没问题”,但动作已偏离安全边界。

综述作者指出,在具身基础模型、世界模型、机器人仿真、具身安全基准、安全控制、运行时保证、不确定性估计、形式化验证以及护栏评估等多个领域,模型能力和安全机制大体上沿着两条独立的技术路线发展。这种分离导致一个反复出现的空白:没有任何一个被综述的研究流提供了介于黑箱物理AI模型与物理执行之间的完整运行时授权边界。

为解决这一问题,论文提出了一个有限界定的问题形式化,明确了“静默物理动作失效”的定义,并构建了运行时护栏功能的分类体系。此外,综述还提出了评估要求,用于比较不同护栏作为物理AI保证机制的有效性。这些工作为后续研究提供了概念框架和评估基础,旨在填补模型能力与物理安全之间的关键缺口。

该论文共23页,属于机器人学(cs.RO)和人工智能(cs.AI)交叉领域,体现了对物理AI系统安全部署的迫切关注。

展开要点与分析

文章情报

工程师进阶

要点

  • 物理AI模型可能产生看似自信且语义对齐的错误动作,导致静默失效。
  • 模型能力与安全机制的研究路线长期分离,没有一个领域提供完整的运行时授权边界。
  • 综述提出了静默物理动作失效的定义、运行时护栏功能分类和评估要求。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。