近年、大規模言語モデル（LLM）ベースのエージェントは、エージェントスウォームの成功により、単一エージェントのワークフローからマルチエージェントシステムへとパラダイムシフトを遂げている。この変化は、タスク分解と協調のためのエージェントオーケストレーションの重要性を浮き彫りにしている。しかし、既存のオーケストレーションフレームワークは限られたモダリティ（例：テキストのみ、または画像のみ）しかサポートしておらず、異種モダリティが共存し相互作用する複雑な環境への一般化が困難である。この制約は、テキスト、画像、音声、動画など多様な入力の統一的理解と調整が必要な全モーダルシナリオで特に顕著であり、スマートホーム、自動運転、医療診断などの実世界応用において深刻なボトルネックとなっている。
この課題に取り組むため、復旦大学などの研究機関からなるチームは、Orchestra-o1を提案する。これは、複数のモダリティにわたる効率的なエージェント協力を支援する全モーダルエージェントオーケストレーションフレームワークである。Orchestra-o1は、統一オーケストレーション機構を導入し、モダリティ認識型タスク分解、オンラインサブエージェント特化、並列サブタスク実行を実現する。具体的には、入力データのモダリティ（テキスト、画像、音声、動画）に基づいて複雑なタスクを自動的に分解し、各モダリティに特化したサブエージェントを動的に割り当て、並列実行した結果を統合する。このスケーラブルな設計により、エージェントシステムは異種情報源を含む複雑な実世界タスクに効果的に対処できる。OmniGAIAベンチマークでは、Orchestra-o1は2位の手法を10.3%上回る精度を達成した。
さらに、研究チームは意思決定整合グループ相対方策最適化（DA-GRPO）を提案した。これは、エージェント強化学習の効率的な手法であり、訓練中にサブエージェントの行動が全体目標と整合するよう最適化する。DA-GRPOを用いて訓練されたOrchestra-o1-8Bモデルは、既存のすべてのオープンソース全モーダルエージェントに対して最先端の性能を達成し、一部のクローズドソースシステムをも凌駕した。本論文はarXivに投稿され、人工知能、計算言語学、コンピュータビジョン・パターン認識などの分野に関連する。研究チームは、Orchestra-o1がマルチモーダルエージェント協力のための新たな理論的基盤を提供するとともに、統一オーケストレーションフレームワークによってモダリティの壁を打破し、人間の知覚に近い汎用知能を実現する未来のエージェントシステム設計への道筋を示すと述べている。