自主AI系统在物理环境中的治理考验

自主AI系统正从软件环境扩展到仓库、配送网络和公共空间，这引发了现有AI规则是否足以覆盖物理环境中运行的系统的讨论。当前，大多数AI治理框架聚焦于在线危害和模型输出，如偏见、虚假信息和有害内容。然而，具身AI系统在物理环境中带来的风险可能影响基础设施、财产或人身安全。

新加坡资讯通信媒体发展局（IMDA）于5月20日发布了代理式AI模型治理框架1.5版，为部署能够规划、决策并执行多步骤任务的AI代理的组织提供指导。该框架指出，代理可以交互工具、外部系统和其他代理，包括更新数据库、写入文件、控制设备或执行交易的系统。它列出了访问控制、监控和人工批准等治理措施。

在最近的新加坡AI峰会上，围绕机器人技术和具身AI的讨论聚焦于运营安全问题，这些议题通常与航空、工业系统和关键基础设施监管相关联，而非传统的软件法规。清华大学人工智能研究院创始院长张亚勤博士表示，具身AI系统放大了自主软件已有的风险，故障可能直接影响交通系统、无人机、物流网络和关键基础设施。他指出：“数字领域的任何风险都会在物理领域被放大，并产生物理后果。”

Grab公司正在新加坡榜鹅区试点自动驾驶车辆和配送机器人，其首席技术官Suthen Thomas Paradatheth强调，部署治理严重依赖模拟、测试和持续监控。他提到：“在我们扩展到数百个机器人之前，我们会先在模拟环境和少量机器人上确保可靠性。”Grab还部署了监控系统，以跟踪机器人性能并在部署后检测意外故障。

MLex报道指出，具身AI系统可能涉及开发、制造和部署等多个环节的多个参与方，包括AI开发者、机器人制造商、半导体供应商和基础设施运营商。当系统通过软件更新、遥测和运营数据在部署后持续适应时，责任的归属性更难确定。IMDA表示，即使代理自主运行，组织和人类仍应对其行为负责。

在实际应用方面，JPMorgan正在全球投资银行业务中实施AI工具，帮助银行家访问更多信息并与内部系统整合。该行还获准使用Anthropic的Mythos网络安全模型。沃尔玛则宣布计划部署四个AI“超级代理”，分别面向购物者、员工、供应商和开发者，其中Sparky已作为购物助手在其应用中可用。

在日本，根据日经研究为路透社进行的调查，约三分之一的企业已在使用或考虑使用AI机器人。其中制造业是主要应用领域，占比71%。日本政府期望AI机器人缓解劳动力短缺问题，并巩固其在工业机器人领域的地位。

新加坡IMDA的框架围绕四大治理领域展开：前期风险评估、人类问责、技术控制和最终用户责任。该框架强调，人类监督需要针对代理系统进行调整，因为对所有工作流进行持续审查在大规模情况下不可行。它建议在关键检查点（如高风险、不可逆行为及异常行为）设置人工批准。

总体而言，自主AI系统在物理世界中的部署正从理论走向实践，而治理框架也在逐步演进。各组织需要平衡创新与安全，通过模拟、逐步部署和持续监控来应对未知风险。责任分配和技术标准的确立将成为未来发展的关键议题。