提升 AI 代理的速度和能效

人工智慧代理工作流是一種將多個模型和外部工具串聯起來執行復雜任務的軟體系統，例如分析影片並回答相關問題。然而，這些高度碎片化的系統在設計和部署過程中常常導致計算、能源和成本的浪費。

為了提升效率，麻省理工學院（MIT）和微軟的研究人員開發了一種名為 Murakkab 的智慧系統，它能夠簡化代理工作流的設計過程，並自動最佳化其實現方式。開發者只需用日常語言描述工作流的目標，無需事先指定所有細節。系統會自動確定最佳模型和工具組合，以及雲提供商執行工作流時的理想硬體配置和計算資源分配。

Murakkab 能夠根據每個使用者的優先順序（例如最小化成本或最大化速度）即時調整配置。在多個代理工作負載的測試中，與傳統方法相比，該系統將部署所需計算單元數量減少了約65%，能耗降低約73%，成本減少超過75%，同時不損害效能。

“代理工作流變得非常複雜，正迅速成為雲提供商的核心業務。能源消耗是一個巨大的問題，因此我們必須非常謹慎地確保這些工作流的效率。很容易過度分配資源，浪費能源和資金。讓雲提供商能夠智慧地最佳化這些工作流的資源分配，對所有人都是雙贏。”論文第一作者、電氣工程與電腦科學（EECS）研究生 Gohar Chaudhry 表示。

傳統上，開發者必須預先硬編碼所有技術選擇，包括定義使用的 AI 代理、模型和工具及其順序，以及執行工作流的硬體和速度與成本的權衡。Murakkab 透過允許開發者僅描述高層次意圖（例如“一個影片問答應用，提取關鍵幀、生成轉錄並回答使用者問題”）來簡化這一過程。系統會自動識別現有最佳模型和工具，確定順序和並行化方案，並動態適應新模型或加速器。

在雲提供商部署時，Murakkab 根據使用者約束（如延遲和準確性）最佳化硬體分配和排程。測試中，它在一個影片問答任務中僅犧牲約2%的準確性，便將能耗降低了一個數量級。研究人員計劃將系統擴充套件到更復雜的工作流和更大叢集，並探索新的代理應用最佳化機會。