微軟以企業級規模交付AI代理

微軟正在以巨大的規模交付AI代理。目前，超過8萬家企業使用微軟的Foundry平台構建、部署和運行AI代理及應用。微軟自己的Copilot也運行在同一平台上，其中Microsoft 365 Copilot已服務超過2000萬用户，第一方代理的月活躍使用量今年迄今增長了6倍。

為了解大規模交付代理的實際要求，我們採訪了微軟核心AI產品副總裁Marco Casalaina。他分享了團隊在生產環境中運行這些系統所學到的經驗、面臨的工程挑戰，以及對未來企業AI發展的看法。

原型代理在生產環境中無法生存。模型很少是問題所在，問題出在模型周圍的一切：代理檢索的數據、調用的工具、處理真實用户的方式，以及隨着世界變化導致的質量漂移。企業今年嘗試交付代理時遇到的工程問題與去年截然不同。

生產代理不僅僅是模型，大部分系統是圍繞它構建的框架。Marco説：“我們正在離開AI的問答階段。2026年，我們看到大量客户使用語音作為前端，所以我們也在離開聊天機器人的時代。”從聊天機器人到代理的轉變，從回答問題到執行工作，這讓工程問題發生了根本變化。聊天機器人返回錯誤答案是不良體驗，而代理採取錯誤行動則是業務事故。

生產代理框架包含五個關鍵層：推理層（提供可互換的模型接口）、代理運行時（處理編排循環和工具調用）、可觀測性與治理層（跨項目可見性、健康評分、成本控制）、身份層（賦予代理自己的身份和訪問控制）以及上下文層（確保代理正確回答）。Marco明確指出，給代理提供正確上下文是他團隊正在解決的最難問題之一，也是微軟全力攻克的方向。

微軟的解決方案是將上下文層本身作為一組服務交付，統稱為Microsoft IQ。Foundry IQ處理非結構化數據，Fabric IQ處理結構化數據，Web IQ處理實時網絡檢索，Work IQ處理Microsoft 365的生產力數據（包括郵件、日曆、文檔和Teams）。

此外，代理需要自己的身份和行動空間。微軟擴展了Entra身份平台，將代理視為新的主體類型，賦予它們角色分配和審計追蹤。代理還擁有自己的數據存儲空間（工作空間），用於記錄、計劃和狀態，使其能夠跨會話保留記憶。

在評估與改進方面，微軟使用基於規則和AI的評估方法。他們創建了一個自動改進循環：當評估標記出響應不佳時，系統會生成改進説明，在後台合成新示例，重新運行評估，如果通過則將其添加到測試集中。模型的下一次更新將包含該示例。

對於其他團隊，Marco的建議是：儘早將代理投入生產；構建你的代理框架；考慮代理的身份和數據存儲；不要讓模型做所有事情；為評估和自動改進進行投資。