将AI智能体视为热心但容易犯错的人类实习生——在失去控制之前

AI智能体正在从简单的聊天机器人快速演变为具备自主行动能力的数字员工，它们被授权直接操作应用和数据。然而，这种能力也伴随着一系列安全与治理隐患。在最近的Snowflake峰会上，专家小组建议将AI智能体视为“热心但容易犯错的人类实习生”——需要同样严格的指导和监督。

约束、意图与上下文是关键。Resolve AI的创始人兼CTO Mayank Agarwal警告说：“如果你告诉智能体买双鞋，它可能直接给你买辆车。”因此，必须仔细考虑赋予智能体的权限，并设置不可动摇的限制。1Password的CTO Nancy Wang强调，仅仅知道智能体被创建来做什么是不够的，还需要了解它在谁的授权下行动，以及它将如何处理访问到的数据。

与传统的软件开发不同，AI智能体的行为路径不再可预测。Agarwal指出，过去工程师可以精确规划API之间的调用顺序，但在智能体世界中，智能体会动态连接各种工具，甚至可能在无意间将数据从一处转移到不应出现的地方。这引发了“影子AI”的担忧——例如，一个客户发现其框架中存在12个未授权的OpenClaw实例，访问着API、源代码，并通过Telegram与承包商通信。

这种不可预测性使得事后追踪责任变得困难。Wang表示，当系统发生操作时，团队往往无法确定是人为操作、服务账户还是智能体所为，因为智能体拥有所有权限，看起来既像人类又像服务账户。因此，必须在治理与访问之间找到平衡：过度限制会扼杀生产力，而过度放任则带来风险。

专家建议重点关注员工的配置：检查Copilot、Claude Chat或Gemini等工具中用户创建的智能体，查看其配置是否错误、访问了哪些数据，以及提示词与什么系统通信。Wang强调，最大的风险来自“权限过大且拥有长期凭证的智能体”。最终，智能体需要“非常具体的指令”，即便有时它们仍会偏离路径。治理的关键在于从一开始就设定正确的意图，并确保该意图贯穿智能体的每一步行动。