微软以企业级规模交付AI代理

微软正在以巨大的规模交付AI代理。目前，超过8万家企业使用微软的Foundry平台构建、部署和运行AI代理及应用。微软自己的Copilot也运行在同一平台上，其中Microsoft 365 Copilot已服务超过2000万用户，第一方代理的月活跃使用量今年迄今增长了6倍。

为了解大规模交付代理的实际要求，我们采访了微软核心AI产品副总裁Marco Casalaina。他分享了团队在生产环境中运行这些系统所学到的经验、面临的工程挑战，以及对未来企业AI发展的看法。

原型代理在生产环境中无法生存。模型很少是问题所在，问题出在模型周围的一切：代理检索的数据、调用的工具、处理真实用户的方式，以及随着世界变化导致的质量漂移。企业今年尝试交付代理时遇到的工程问题与去年截然不同。

生产代理不仅仅是模型，大部分系统是围绕它构建的框架。Marco说：“我们正在离开AI的问答阶段。2026年，我们看到大量客户使用语音作为前端，所以我们也在离开聊天机器人的时代。”从聊天机器人到代理的转变，从回答问题到执行工作，这让工程问题发生了根本变化。聊天机器人返回错误答案是不良体验，而代理采取错误行动则是业务事故。

生产代理框架包含五个关键层：推理层（提供可互换的模型接口）、代理运行时（处理编排循环和工具调用）、可观测性与治理层（跨项目可见性、健康评分、成本控制）、身份层（赋予代理自己的身份和访问控制）以及上下文层（确保代理正确回答）。Marco明确指出，给代理提供正确上下文是他团队正在解决的最难问题之一，也是微软全力攻克的方向。

微软的解决方案是将上下文层本身作为一组服务交付，统称为Microsoft IQ。Foundry IQ处理非结构化数据，Fabric IQ处理结构化数据，Web IQ处理实时网络检索，Work IQ处理Microsoft 365的生产力数据（包括邮件、日历、文档和Teams）。

此外，代理需要自己的身份和行动空间。微软扩展了Entra身份平台，将代理视为新的主体类型，赋予它们角色分配和审计追踪。代理还拥有自己的数据存储空间（工作空间），用于记录、计划和状态，使其能够跨会话保留记忆。

在评估与改进方面，微软使用基于规则和AI的评估方法。他们创建了一个自动改进循环：当评估标记出响应不佳时，系统会生成改进说明，在后台合成新示例，重新运行评估，如果通过则将其添加到测试集中。模型的下一次更新将包含该示例。

对于其他团队，Marco的建议是：尽早将代理投入生产；构建你的代理框架；考虑代理的身份和数据存储；不要让模型做所有事情；为评估和自动改进进行投资。