近年、Mixture-of-Agents（MoA）フレームワークは、複数の大規模言語モデル（LLM）の出力を集約することで性能を向上させる有望な手法として注目されています。しかし、既存のMoAシステムは静的ルーターに依存しており、集約層間の時間的・文脈的依存関係を十分に捉えることができません。この問題を解決するため、研究者らはMMoA（Memoried Mixure-of-Agent with recurrence）を提案しました。MMoAは再帰的なMoAアーキテクチャであり、LSTMベースのゲーティングをエージェント選択プロセスに統合しています。
MMoAの再帰ルーターは、現在の入力と過去のルーティング決定の両方に基づいてエージェントの寄与を適応的に調整します。これにより、従来の静的ルーターよりも文脈を意識した集約が可能になります。例えば、連続する処理において、前のステップでどのエージェントが有効だったかを記憶し、次のステップでの選択に活かすことができます。
評価はAlpacaEval 2.0、MT-Bench、Arena-Hardといった標準的な指示追従ベンチマークで行われました。結果として、MMoAは従来のMoAと同等の精度を達成しながら、計算オーバーヘッドを削減しました。具体的には、AlpacaEval 2.0でMMoAの勝率は58.0%（従来MoAは59.8%）であり、実行効率は最大4.6%向上しました。これは、MMoAが動的に活性化するエージェント数を減らすことで、不要な計算を抑制するためです。
MMoAのアーキテクチャはスケーラブルであり、異なる種類のタスクやエージェント構成に容易に適応できます。本論文の著者であるRui Chuは、arXiv（arXiv:2605.19194）でプリプリントを公開し、関連コードやデータへのリンクも提供しています。
この研究成果は、適応型マルチエージェントLLMシステムの実現に向けた重要な一歩です。LLMの実用化が進む中、低コストで高性能なシステムの需要が高まっています。MMoAはそのような要求に応える可能性を秘めており、将来のAIエージェントフレームワークの基盤となるかもしれません。