強化エージェント：ツール呼び出しエージェントのための推論時フィードバック

Apple機械学習研究チームは、ACL 2026の第5回自然言語生成・評価・メトリクスワークショップで受理された論文において、「強化エージェント」と呼ばれる手法を提案しました。この手法は、ツール呼び出しエージェントのパフォーマンスを向上させるために、推論時にフィードバックを提供することを目的としています。従来、大規模言語モデル（LLM）の軌跡評価は事後的に行われ、実行ループから切り離されていたため、エラーをリアルタイムで修正することはできませんでした。このギャップを埋めるため、研究者らは評価を推論時の実行ループに組み込みました。専用のレビューエージェントがツール呼び出しの実行前にプロビジョナルコールを評価し、事後的な回復から積極的な評価とエラー軽減へのパラダイムシフトを実現します。

このアーキテクチャは、プライマリ実行エージェントとセカンダリレビューエージェントの明確な責務分離を確立します。しかし、マルチエージェントシステムの常として、レビューアはエラーを修正する一方で新たなエラーを導入する可能性があります。このトレードオフを定量化するために、研究チームは有用性・有害性指標を導入しました。有用性はフィードバックが修正したベースエージェントのエラーの割合を測定し、有害性はフィードバックが劣化させた正しい応答の割合を測定します。これらの指標は、特定のモデルやプロンプトが正味の正の価値を提供するかどうかを明らかにすることで、レビューアの設計に直接的な情報を提供します。

研究チームは、BFCL（シングルターン）およびτ2-Bench（マルチターンの状態依存シナリオ）でこの手法を評価し、無関係性検出で5.5%、マルチターンタスクで7.1%の改善を達成しました。指標は、レビューモデルの選択が重要であることを示しています。推論モデルo3-miniは3:1の便益リスク比を達成し、GPT-4oの2.1:1を上回りました。GEPAによる自動プロンプト最適化により、さらに1.5～2.8%の改善が得られました。これらの結果は、実行とレビューの分離の核心的な利点を示しています。レビューアはベースエージェントを再トレーニングすることなく、モデル選択とプロンプト最適化によって体系的に改善できるのです。

この手法の意義は、評価を受動的な事後分析から能動的なリアルタイム介入へと転換し、エージェントが実行中に即座にエラーを修正できるようにすることで、ツール呼び出しの精度を大幅に向上させる点にあります。さらに、有用性・有害性指標はマルチエージェントシステムの評価に新たな視点を提供し、修正の利益と新たなエラーのリスクのバランスを取るのに役立ちます。今後、この手法はより複雑なエージェントタスクに応用され、ツール呼び出しエージェントの信頼性と効率性の向上に貢献することが期待されます。