MMoA：一种具有循环机制的记忆型混合智能体框架

近年来，混合智能体（Mixture-of-Agents, MoA）框架因其能够聚合多个大语言模型（LLM）的输出结果以提升整体性能而备受关注。然而，现有的MoA系统通常依赖于静态路由器，这些路由器难以充分捕获不同聚合层之间的时间依赖与上下文依赖关系，从而限制了模型在复杂任务上的表现。为了解决这一问题，研究者提出了MMoA（Memoried Mixure-of-Agent with recurrence），一种循环型MoA架构。

MMoA的关键创新在于将LSTM（长短期记忆网络）门控机制集成到智能体选择过程中。其循环路由器能够根据当前输入以及历史路由决策自适应地调整各个智能体的贡献权重，从而实现更具上下文感知能力的聚合。与传统MoA仅使用静态路由不同，MMoA可以“记忆”之前的决策信息，从而在连续任务中更有效地选择最合适的智能体子集。

研究团队在多个标准指令遵循基准上对MMoA进行了全面评估，包括AlpacaEval 2.0、MT-Bench和Arena-Hard。实验结果显示，MMoA在保持与原始MoA几乎相同准确率的同时，显著降低了计算开销。例如，在AlpacaEval 2.0上，MMoA取得了58.0%的胜率，而传统MoA为59.8%，但MMoA的运行效率提升了4.6%。这意味着MMoA能够通过动态激活较少的智能体来减少不必要的计算，从而在性能与效率之间取得更好的平衡。

除了性能提升，MMoA还具有良好的可扩展性。其循环机制使得框架能够自然适应不同规模和类型的任务，无需重新设计路由策略。作者Rui Chu在arXiv上发布了该研究的预印本（arXiv:2605.19194），并提供了完整的代码和数据链接。

这一成果对于构建高效、自适应的多智能体LLM系统具有重要意义。随着LLM在现实应用中的部署日益广泛，如何在控制成本的同时保持高质量输出成为了关键问题。MMoA提供了一种有前景的解决方案，有望推动AI代理框架的发展。未来，基于记忆的动态路由机制可能成为多智能体系统的标准组件，进一步释放LLM的潜力。