MMoA：一種具有循環機制的記憶型混合智能體框架

近年來，混合智能體（Mixture-of-Agents, MoA）框架因其能夠聚合多個大語言模型（LLM）的輸出結果以提升整體性能而備受關注。然而，現有的MoA系統通常依賴於靜態路由器，這些路由器難以充分捕獲不同聚合層之間的時間依賴與上下文依賴關係，從而限制了模型在複雜任務上的表現。為了解決這一問題，研究者提出了MMoA（Memoried Mixure-of-Agent with recurrence），一種循環型MoA架構。

MMoA的關鍵創新在於將LSTM（長短期記憶網絡）門控機制集成到智能體選擇過程中。其循環路由器能夠根據當前輸入以及歷史路由決策自適應地調整各個智能體的貢獻權重，從而實現更具上下文感知能力的聚合。與傳統MoA僅使用靜態路由不同，MMoA可以“記憶”之前的決策信息，從而在連續任務中更有效地選擇最合適的智能體子集。

研究團隊在多個標準指令遵循基準上對MMoA進行了全面評估，包括AlpacaEval 2.0、MT-Bench和Arena-Hard。實驗結果顯示，MMoA在保持與原始MoA幾乎相同準確率的同時，顯著降低了計算開銷。例如，在AlpacaEval 2.0上，MMoA取得了58.0%的勝率，而傳統MoA為59.8%，但MMoA的運行效率提升了4.6%。這意味着MMoA能夠通過動態激活較少的智能體來減少不必要的計算，從而在性能與效率之間取得更好的平衡。

除了性能提升，MMoA還具有良好的可擴展性。其循環機制使得框架能夠自然適應不同規模和類型的任務，無需重新設計路由策略。作者Rui Chu在arXiv上發佈了該研究的預印本（arXiv:2605.19194），並提供了完整的代碼和數據鏈接。

這一成果對於構建高效、自適應的多智能體LLM系統具有重要意義。隨着LLM在現實應用中的部署日益廣泛，如何在控制成本的同時保持高質量輸出成為了關鍵問題。MMoA提供了一種有前景的解決方案，有望推動AI代理框架的發展。未來，基於記憶的動態路由機制可能成為多智能體系統的標準組件，進一步釋放LLM的潛力。