ペンシルベニア州立大学とデューク大学の研究者が「マルチエージェントシステムの自動故障帰属」を発表

近年、大規模言語モデルを用いたマルチエージェントシステムは、複雑な問題を協調して解決するアプローチとして広く注目を集めています。しかし、これらのシステムはしばしばタスクに失敗し、開発者はどのエージェントがどの時点で失敗の原因となったのかを特定するのに苦労しています。従来の手動ログ調査や専門知識への依存は非効率であり、システムの迅速な改善を妨げています。

この課題に取り組むため、ペンシルベニア州立大学とデューク大学の研究者らは、Google DeepMind、ワシントン大学、Meta、南洋理工大学、オレゴン州立大学と共同で、「自動故障帰属」という新しい研究問題を初めて提案しました。彼らはこのタスクのための最初のベンチマークデータセット「Who&When」を構築し、複数の自動帰属手法を開発・評価しました。本論文はトップ会議ICML 2025でスポットライト発表として採択され、コードとデータセットは完全にオープンソース化されています。

研究チームは、自動故障帰属タスクを「マルチエージェントシステムの対話ログから、タスク失敗の原因となった責任エージェントと決定的な誤りステップを特定する」ものと定義しました。Who&Whenデータセットは、127のLLMマルチエージェントシステムから収集された障害ログで構成され、アルゴリズム生成と専門家による手動作成の両方を含み、各ログには「誰が」（責任エージェント）、「いつ」（誤りステップ）、「なぜ」（自然言語による説明）の詳細な人手アノテーションが付いています。

このデータセットに基づき、論文では3つの初期自動帰属手法を設計しました。

• 一括手法（All-at-Once）：ユーザークエリと完全なログをLLMに与え、1回で責任エージェントと誤りステップを特定。コスト効率は良いが、長いコンテキストでは正確な位置特定が難しい。
• ステップバイステップ手法：手動デバッグを模倣し、LLMがログを順次レビューし、各ステップで判断を下す。誤り位置の特定精度は高いが、コストが高くエラーが蓄積するリスクがある。
• 二分探索手法：ログを半分に分割し、LLMに誤りが含まれる半分を判断させ、再帰的に探索。コストと性能のバランスを取る。

実験結果は、現在の手法が完璧とは程遠いことを示しました。最良の単一手法でも、責任エージェントの識別精度は約53.5%、誤りステップの正確な特定精度はわずか14.2%であり、一部の手法はランダム推測よりも悪い結果でした。異なる手法は異なる側面で優れており、一括手法は「誰が」の特定に優れ、ステップバイステップ手法は「いつ」の特定に効果的で、二分探索手法は中間的な性能を示しました。ハイブリッド手法は有望ですが、計算コストが大幅に増加します。

注目すべき点は、OpenAI o1やDeepSeek R1のような最先端の推論モデルでさえこのタスクに苦戦しており、自動故障帰属が従来のタスクよりも高度な推論を必要とすることを示しています。また、明示的な推論を促すプロンプトが性能を向上させること、コンテキスト長が増加するとすべての手法の性能が低下することも明らかになりました。

この研究は、マルチエージェントシステムのデバッグにおける重要な課題を浮き彫りにするとともに、システム信頼性向上のための新たな道を開くものです。今後、研究者らはより効率的な帰属手法の探索と、より多様なシナリオをカバーするデータセットの拡張を計画しています。