提升 AI 代理的速度和能效

人工智能代理工作流是一種將多個模型和外部工具串聯起來執行復雜任務的軟件系統，例如分析視頻並回答相關問題。然而，這些高度碎片化的系統在設計和部署過程中常常導致計算、能源和成本的浪費。

為了提升效率，麻省理工學院（MIT）和微軟的研究人員開發了一種名為 Murakkab 的智能系統，它能夠簡化代理工作流的設計過程，並自動優化其實現方式。開發者只需用日常語言描述工作流的目標，無需事先指定所有細節。系統會自動確定最佳模型和工具組合，以及雲提供商執行工作流時的理想硬件配置和計算資源分配。

Murakkab 能夠根據每個用户的優先級（例如最小化成本或最大化速度）實時調整配置。在多個代理工作負載的測試中，與傳統方法相比，該系統將部署所需計算單元數量減少了約65%，能耗降低約73%，成本減少超過75%，同時不損害性能。

“代理工作流變得非常複雜，正迅速成為雲提供商的核心業務。能源消耗是一個巨大的問題，因此我們必須非常謹慎地確保這些工作流的效率。很容易過度分配資源，浪費能源和資金。讓雲提供商能夠智能地優化這些工作流的資源分配，對所有人都是雙贏。”論文第一作者、電氣工程與計算機科學（EECS）研究生 Gohar Chaudhry 表示。

傳統上，開發者必須預先硬編碼所有技術選擇，包括定義使用的 AI 代理、模型和工具及其順序，以及運行工作流的硬件和速度與成本的權衡。Murakkab 通過允許開發者僅描述高層次意圖（例如“一個視頻問答應用，提取關鍵幀、生成轉錄並回答用户問題”）來簡化這一過程。系統會自動識別現有最佳模型和工具，確定順序和並行化方案，並動態適應新模型或加速器。

在雲提供商部署時，Murakkab 根據用户約束（如延遲和準確性）優化硬件分配和調度。測試中，它在一個視頻問答任務中僅犧牲約2%的準確性，便將能耗降低了一個數量級。研究人員計劃將系統擴展到更復雜的工作流和更大集羣，並探索新的代理應用優化機會。