Arbor:樹搜索作為自主代理的認知層
Arbor是一個多代理框架,將結構化樹搜索作為自主代理的認知層,用於大規模有狀態動作空間。在全棧LLM推理優化中,相比供應商優化基線,實現了高達193%的吞吐量-延遲帕累託改進,並且硬件無關、可重複。
Arbor是一個創新的多智能體框架,其核心思想是將結構化樹搜索作為自主智能體的認知層,特別適用於需要在大規模有狀態動作空間中運行的場景。傳統的自主優化系統通常針對孤立目標進行無狀態評估,而Arbor則維護一個顯式的評分假設搜索樹,作為所有智能體之間的共享工作記憶。該搜索樹隨着每次測量不斷進化,將失敗視為診斷信號來重新引導後續探索,並在先前成功改變瓶頸分佈時進行擴展。這一機制使得多個智能體能夠協同工作,避免重複探索,並有效利用歷史信息。
研究者們在全棧LLM推理優化任務上驗證了Arbor的有效性。LLM推理優化是一個極其複雜的領域,傳統上需要工程團隊在應用、框架、編譯器、內核和硬件等多個層面進行協調優化。Arbor引入了兩種關鍵智能體:編排智能體(Orchestrator)負責將優化任務委派給推理棧中各領域的專家智能體,而批評智能體(Critic)則通過根本原因分析、內省和測量驗證來確保系統穩定性。這種制衡架構防止了任一智能體單方面控制系統,從而保證了優化過程的穩健性。智能體的能力被分解為硬技能(領域專業知識)和軟技能(協調協議,決定貢獻如何組合),這使得Arbor能夠支持完全自主的多日優化活動。
實驗結果表明,Arbor在吞吐量和延遲的帕累託改進上,相比供應商優化的基線實現了高達193%的提升。相比之下,沒有該框架的單一智能體僅能實現33%的吞吐量提升,並且在幾小時內就發生不可恢復的崩潰。Arbor還能夠泛化到多代硬件平台,運行間方差在2個百分點以內,證明了其硬件無關性和可重複性。這項研究展示了將樹搜索作為認知層在複雜優化任務中的巨大潛力,為未來的自主智能體系統提供了新的設計思路。