自主AI系統在物理環境中的治理考驗

自主AI系統正從軟件環境擴展到倉庫、配送網絡和公共空間，這引發了現有AI規則是否足以覆蓋物理環境中運行的系統的討論。當前，大多數AI治理框架聚焦於在線危害和模型輸出，如偏見、虛假信息和有害內容。然而，具身AI系統在物理環境中帶來的風險可能影響基礎設施、財產或人身安全。

新加坡資訊通信媒體發展局（IMDA）於5月20日發佈了代理式AI模型治理框架1.5版，為部署能夠規劃、決策並執行多步驟任務的AI代理的組織提供指導。該框架指出，代理可以交互工具、外部系統和其他代理，包括更新數據庫、寫入文件、控制設備或執行交易的系統。它列出了訪問控制、監控和人工批准等治理措施。

在最近的新加坡AI峯會上，圍繞機器人技術和具身AI的討論聚焦於運營安全問題，這些議題通常與航空、工業系統和關鍵基礎設施監管相關聯，而非傳統的軟件法規。清華大學人工智能研究院創始院長張亞勤博士表示，具身AI系統放大了自主軟件已有的風險，故障可能直接影響交通系統、無人機、物流網絡和關鍵基礎設施。他指出：“數字領域的任何風險都會在物理領域被放大，併產生物理後果。”

Grab公司正在新加坡榜鵝區試點自動駕駛車輛和配送機器人，其首席技術官Suthen Thomas Paradatheth強調，部署治理嚴重依賴模擬、測試和持續監控。他提到：“在我們擴展到數百個機器人之前，我們會先在模擬環境和少量機器人上確保可靠性。”Grab還部署了監控系統，以跟蹤機器人性能並在部署後檢測意外故障。

MLex報道指出，具身AI系統可能涉及開發、製造和部署等多個環節的多個參與方，包括AI開發者、機器人制造商、半導體供應商和基礎設施運營商。當系統通過軟件更新、遙測和運營數據在部署後持續適應時，責任的歸屬性更難確定。IMDA表示，即使代理自主運行，組織和人類仍應對其行為負責。

在實際應用方面，JPMorgan正在全球投資銀行業務中實施AI工具，幫助銀行家訪問更多信息並與內部系統整合。該行還獲准使用Anthropic的Mythos網絡安全模型。沃爾瑪則宣佈計劃部署四個AI“超級代理”，分別面向購物者、員工、供應商和開發者，其中Sparky已作為購物助手在其應用中可用。

在日本，根據日經研究為路透社進行的調查，約三分之一的企業已在使用或考慮使用AI機器人。其中製造業是主要應用領域，佔比71%。日本政府期望AI機器人緩解勞動力短缺問題，並鞏固其在工業機器人領域的地位。

新加坡IMDA的框架圍繞四大治理領域展開：前期風險評估、人類問責、技術控制和最終用户責任。該框架強調，人類監督需要針對代理系統進行調整，因為對所有工作流進行持續審查在大規模情況下不可行。它建議在關鍵檢查點（如高風險、不可逆行為及異常行為）設置人工批准。

總體而言，自主AI系統在物理世界中的部署正從理論走向實踐，而治理框架也在逐步演進。各組織需要平衡創新與安全，通過模擬、逐步部署和持續監控來應對未知風險。責任分配和技術標準的確立將成為未來發展的關鍵議題。