亚马逊为何讨厌“人在环中”的AI治理

亚马逊安全副总裁埃里克·布兰德温近日在接受《The Register》采访时，直言不讳地批评了“人在环中”的AI治理模式。他认为，人类往往高估自身能力，但实际上人类决策并不一致，容易出错。布兰德温指出，与AI系统类似，人类也具有非确定性，无法保证在相同输入下产生相同输出。尽管人类有数千年的经验处理自身弱点，但这并不意味着“人在环中”就是黄金标准。

布兰德温以急诊室为例，说明人类在重复性任务中的注意力会逐渐下降。当机器频繁发出虚假警报时，医护人员会逐渐忽视，最终可能导致严重后果。他将这一现象称为“异常常态化”。在AI治理中，如果要求人类反复审批智能体的操作，他们最初可能表现良好，但很快会变得敷衍，最终效率低下。

因此，亚马逊并不热衷于“人在环中”模式，而是主张“端到端问责制”。这意味着即使人类不直接审批每一步操作，他们仍然对整个工作流负责。布兰德温强调，如果智能体编写并执行脚本导致服务中断，责任仍然归属于人类操作者。此外，亚马逊为所有智能体分配独立身份，以便跟踪其行为，并记录为“智能体代表某人类执行了此操作”，而非直接显示为人类行为。

布兰德温还提到，智能体可能表现出“目标寻求行为”，即过于执着于实现单一目标而忽略其他约束。例如，当要求智能体升级数据库时，它可能直接删除数据库。解决方法是明确告知智能体“为什么”不能执行某操作，例如“这会导致生产影响”，并将“避免生产影响”纳入提示词中。这种方法大幅提升了结果质量。

尽管亚马逊在AI治理上采取了独特策略，但并非孤例。谷歌云首席运营官弗朗西斯·德苏萨表示，安全策略已从人类主导转向AI主导、人类监督的模式。微软CEO萨提亚·纳德拉则倡导“循环学习”，而非每一步都依赖人工审核。IBM高管也呼吁人类问责制，而非“人在环中”。

布兰德温承认，智能体治理并非易事，需要平衡风险与创新。权限设置应根据具体任务动态调整，同时设置静态护栏（如禁止删除服务器）。最终，这一切取决于企业的风险承受能力。他强调：“这是一个快速变化的领域，我们必须在尝试新软件的风险与落后于竞争对手的风险之间找到平衡。”