MMoA：一種具有迴圈機制的記憶型混合智慧體框架

近年來，混合智慧體（Mixture-of-Agents, MoA）框架因其能夠聚合多個大語言模型（LLM）的輸出結果以提升整體效能而備受關注。然而，現有的MoA系統通常依賴於靜態路由器，這些路由器難以充分捕獲不同聚合層之間的時間依賴與上下文依賴關係，從而限制了模型在複雜任務上的表現。為了解決這一問題，研究者提出了MMoA（Memoried Mixure-of-Agent with recurrence），一種迴圈型MoA架構。

MMoA的關鍵創新在於將LSTM（長短期記憶網路）門控機制整合到智慧體選擇過程中。其迴圈路由器能夠根據當前輸入以及歷史路由決策自適應地調整各個智慧體的貢獻權重，從而實現更具上下文感知能力的聚合。與傳統MoA僅使用靜態路由不同，MMoA可以“記憶”之前的決策資訊，從而在連續任務中更有效地選擇最合適的智慧體子集。

研究團隊在多個標準指令遵循基準上對MMoA進行了全面評估，包括AlpacaEval 2.0、MT-Bench和Arena-Hard。實驗結果顯示，MMoA在保持與原始MoA幾乎相同準確率的同時，顯著降低了計算開銷。例如，在AlpacaEval 2.0上，MMoA取得了58.0%的勝率，而傳統MoA為59.8%，但MMoA的執行效率提升了4.6%。這意味著MMoA能夠透過動態啟用較少的智慧體來減少不必要的計算，從而在效能與效率之間取得更好的平衡。

除了效能提升，MMoA還具有良好的可擴充套件性。其迴圈機制使得框架能夠自然適應不同規模和型別的任務，無需重新設計路由策略。作者Rui Chu在arXiv上釋出了該研究的預印本（arXiv:2605.19194），並提供了完整的程式碼和資料連結。

這一成果對於構建高效、自適應的多智慧體LLM系統具有重要意義。隨著LLM在現實應用中的部署日益廣泛，如何在控制成本的同時保持高質量輸出成為了關鍵問題。MMoA提供了一種有前景的解決方案，有望推動AI代理框架的發展。未來，基於記憶的動態路由機制可能成為多智慧體系統的標準元件，進一步釋放LLM的潛力。