微軟以企業級規模交付AI代理

微軟正在以巨大的規模交付AI代理。目前，超過8萬家企業使用微軟的Foundry平臺構建、部署和執行AI代理及應用。微軟自己的Copilot也執行在同一平臺上，其中Microsoft 365 Copilot已服務超過2000萬使用者，第一方代理的月活躍使用量今年迄今增長了6倍。

為了解大規模交付代理的實際要求，我們採訪了微軟核心AI產品副總裁Marco Casalaina。他分享了團隊在生產環境中執行這些系統所學到的經驗、面臨的工程挑戰，以及對未來企業AI發展的看法。

原型代理在生產環境中無法生存。模型很少是問題所在，問題出在模型周圍的一切：代理檢索的資料、呼叫的工具、處理真實使用者的方式，以及隨著世界變化導致的質量漂移。企業今年嘗試交付代理時遇到的工程問題與去年截然不同。

生產代理不僅僅是模型，大部分系統是圍繞它構建的框架。Marco說：“我們正在離開AI的問答階段。2026年，我們看到大量客戶使用語音作為前端，所以我們也在離開聊天機器人的時代。”從聊天機器人到代理的轉變，從回答問題到執行工作，這讓工程問題發生了根本變化。聊天機器人返回錯誤答案是不良體驗，而代理採取錯誤行動則是業務事故。

生產代理框架包含五個關鍵層：推理層（提供可互換的模型介面）、代理執行時（處理編排迴圈和工具呼叫）、可觀測性與治理層（跨專案可見性、健康評分、成本控制）、身份層（賦予代理自己的身份和訪問控制）以及上下文層（確保代理正確回答）。Marco明確指出，給代理提供正確上下文是他團隊正在解決的最難問題之一，也是微軟全力攻克的方向。

微軟的解決方案是將上下文層本身作為一組服務交付，統稱為Microsoft IQ。Foundry IQ處理非結構化資料，Fabric IQ處理結構化資料，Web IQ處理即時網路檢索，Work IQ處理Microsoft 365的生產力資料（包括郵件、日曆、文件和Teams）。

此外，代理需要自己的身份和行動空間。微軟擴充套件了Entra身份平臺，將代理視為新的主體型別，賦予它們角色分配和審計追蹤。代理還擁有自己的資料儲存空間（工作空間），用於記錄、計劃和狀態，使其能夠跨會話保留記憶。

在評估與改進方面，微軟使用基於規則和AI的評估方法。他們建立了一個自動改進迴圈：當評估標記出響應不佳時，系統會生成改進說明，在後臺合成新示例，重新執行評估，如果透過則將其新增到測試集中。模型的下一次更新將包含該示例。

對於其他團隊，Marco的建議是：儘早將代理投入生產；構建你的代理框架；考慮代理的身份和資料儲存；不要讓模型做所有事情；為評估和自動改進進行投資。