Box AI如何藉助Deep Agents構建企業內容代理
Box AI基於Deep Agents構建了Box Agent,支持跨企業內容庫搜索、分析和綜合,同時保留安全性和權限模型。採用父/子代理架構,動態生成子代理處理複雜任務,並通過中間件實現引用生成、緩存和上下文管理。
Box是智能內容管理平台,受超過10萬家企業信賴,用於存儲、保護和治理非結構化數據。Box AI中的Box Agent基於Deep Agents構建,可以搜索企業內容庫,綜合數千份文檔的發現,並生成報告和分析,同時遵守Box現有的安全和權限模型。
從單文件問答到企業級分析 Box Agent的第一個版本允許用户在單個文檔內提問。隨後,團隊引入了Knowledge Hubs(基於RAG的層),允許用户跨定義的知識源進行查詢。Box首席AI架構師Sesh Jalagam解釋説:“當我們開始使用代理時,我們想解決搜索問題。企業搜索具有挑戰性,因為存在重複信息、過時信息以及看似相同但每個企業都有自己的術語體系的內容。”儘管這些功能很有價值,但用户開始跨不同領域提出越來越複雜的問題。一家生物科學公司的研究人員可能要求Box AI在開始新研究前綜合現有研究;法律團隊可能要求提取過去十年中超過特定價值的所有合同,並對照風險標準進行評估。為了提供更豐富的AI原生體驗,Box需要超越標準問答的代理架構。
選擇Deep Agents的原因:控制、模型靈活性和速度 Box在構建代理平台時評估了多個框架,兩個要求決定了選擇:完全模型無關性和迭代速度。Box為客户提供多種LLM提供商選擇(從OpenAI、Anthropic到Google等),這種靈活性必須在平台層面保留。為了向10萬多家企業客户推出並改進Box Agent,Box團隊需要將工程時間集中在企業特定問題上,而不是重建核心代理基礎設施。Deep Agents滿足了這兩個要求:模型抽象層處理提供商無關的路由,開放的代理框架實現了3倍的迭代速度。Jalagam説:“我們希望在構建前瞻性框架的同時完全控制所有組件。”
Deep Agent架構:父代理生成子代理 Box Agent的架構採用父/子模型,其中父代理和所有子代理都是Deep Agents。父代理(稱為全局代理)接收請求,分類意圖,並決定是直接處理還是生成子代理來分配工作。子代理作為工具暴露給父代理,使得無論是執行關鍵字搜索還是委託給新生成的子代理,調用表面保持一致。這種設計是有意從早期架構演變而來的,早期架構有硬編碼的專用子代理(專用搜索代理、QA代理和組合代理),這造成了不必要的延遲。Box AI工程負責人Shubhro Roy説:“如果問題非常簡單或搜索非常簡單,父節點可以直接處理,甚至不需要制定計劃。”對於複雜任務,行為完全不同。例如,如果要求提取過去10年中超過閾值的所有合同並對照風險標準評估,全局代理會制定計劃,然後展開:一個子代理搜索相關文檔,另一個並行檢索標準,第三個在前兩個完成後綜合並分析結果。所有代理(數量取決於任務需求)在隔離的上下文窗口中運行,通過中間件層報告。由於子代理是動態生成的,而不是預定義的,系統可以處理Box產品團隊尚未明確設計的任務。全局代理在運行時決定創建哪些子代理以及賦予它們哪些工具。父代理和子代理都可以訪問相同的完整工具註冊表,包括BM25關鍵詞搜索、向量搜索、電子表格結構化問答、文件操作等。Box發現,隨着用例的擴展,模型在決定使用哪些工具方面比任何靜態路由邏輯更有效。
中間件:引用、緩存和上下文管理 Box使用Deep Agents中間件攔截模型和工具調用。中間件允許您使用護欄、審批、動態上下文和其他特定於應用程序的行為自定義代理循環。Box Agent的三個功能包括:引用生成、提示緩存和上下文管理。對於複雜的多文檔答案,引用在響應流式傳輸期間作為並行過程運行。當流式答案完成時,引用已準備好附加。基於嵌入的匹配處理來源歸屬,並內置邏輯確保引用在多個來源之間適當分佈。Roy解釋説:“作為中間件執行的好處是,答案的流式傳輸和引用生成並行發生,從而不會中斷用户。”中間件在多輪對話中注入緩存,隨着對話歷史的積累降低成本和延遲。當對話歷史超過17萬個令牌時,中間件自動總結歷史,防止上下文溢出,而無需更改代理邏輯。中間件還充當父代理和子代理之間的通信渠道。完成搜索的子代理通過中間件寫入結果;父代理和其他子代理可以讀取並操作這些結果。這就是中間結果在單個執行中的代理之間流動的方式。
迭代速度:從數月到數週 基於Deep Agents構建顯著加快了Box的工程速度。Jalagam強調:“以前我們完全從頭構建Box AI,這意味着需要更多時間才能將產品推向市場。”使用當前的技術棧,團隊可以在幾周內交付新的代理。加速也體現在代理平台本身:早期具有硬編碼專用子代理的代理架構大約需要3個月開發和交付,而後續的遞歸父/子架構交付速度快了4倍。
擴展Box Agent的機構知識 Box Agent目前的能力(跨企業搜索、多文檔綜合、結構化報告生成)是未來具備資深員工機構知識的代理的基礎。Jalagam説:“想象一個對各方面有十年理解的員工。”路線圖包括代理內更豐富的記憶和知識組合、在後台離線收集和呈現信息的能力,以及與內部團隊和外部系統的更深入通信。