AI News HubLIVE
站内改写1 分鐘閱讀

Arbor:樹搜尋作為自主代理的認知層

Arbor是一個多代理框架,將結構化樹搜尋作為自主代理的認知層,用於大規模有狀態動作空間。在全棧LLM推理最佳化中,相比供應商最佳化基線,實現了高達193%的吞吐量-延遲帕累託改進,並且硬體無關、可重複。

來源arXiv AI作者: Neha Prakriya, Chaojun Hou, Zheng Gong, Huasha Zhao, Xi Zhao, Mou Li, Zhenyu Gu, Emad Barsoum

Arbor是一個創新的多智慧體框架,其核心思想是將結構化樹搜尋作為自主智慧體的認知層,特別適用於需要在大規模有狀態動作空間中執行的場景。傳統的自主最佳化系統通常針對孤立目標進行無狀態評估,而Arbor則維護一個顯式的評分假設搜尋樹,作為所有智慧體之間的共享工作記憶。該搜尋樹隨著每次測量不斷進化,將失敗視為診斷訊號來重新引導後續探索,並在先前成功改變瓶頸分佈時進行擴充套件。這一機制使得多個智慧體能夠協同工作,避免重複探索,並有效利用歷史資訊。

研究者們在全棧LLM推理最佳化任務上驗證了Arbor的有效性。LLM推理最佳化是一個極其複雜的領域,傳統上需要工程團隊在應用、框架、編譯器、核心和硬體等多個層面進行協調最佳化。Arbor引入了兩種關鍵智慧體:編排智慧體(Orchestrator)負責將最佳化任務委派給推理棧中各領域的專家智慧體,而批評智慧體(Critic)則透過根本原因分析、內省和測量驗證來確保系統穩定性。這種制衡架構防止了任一智慧體單方面控制系統,從而保證了最佳化過程的穩健性。智慧體的能力被分解為硬技能(領域專業知識)和軟技能(協調協議,決定貢獻如何組合),這使得Arbor能夠支援完全自主的多日最佳化活動。

實驗結果表明,Arbor在吞吐量和延遲的帕累託改進上,相比供應商最佳化的基線實現了高達193%的提升。相比之下,沒有該框架的單一智慧體僅能實現33%的吞吐量提升,並且在幾小時內就發生不可恢復的崩潰。Arbor還能夠泛化到多代硬體平臺,執行間方差在2個百分點以內,證明了其硬體無關性和可重複性。這項研究展示了將樹搜尋作為認知層在複雜最佳化任務中的巨大潛力,為未來的自主智慧體系統提供了新的設計思路。