API呼び出しエージェントのための環境不要な合成データ生成

APIを呼び出す大規模言語モデル（LLM）エージェントの訓練には、大量の高品質な軌跡データが必要です。しかし、従来のデータ収集手法では、実行可能なAPIと現実的なデータが事前に入力されたバックエンドデータベースを備えた完全な環境が必要であり、これがスケーラビリティの大きな障壁となっていました。この問題を解決するために、Apple機械学習研究チームは、環境を必要としない合成データ生成手法を提案しました。

この手法の核となるアイデアは、LLM自体をオンデマンドのデジタルワールドモデルとして活用することです。API仕様のみを入力として、エージェントと状態を持つ環境との間のインタラクションを模倣した軌跡を生成します。具体的には、まずLLMが提供されたAPIで解決可能な多様なタスクを生成します。次に、教師エージェントが各タスクを逐次的に解決し、その過程でLLMシミュレータがタスクコンテキストとシミュレーション履歴に基づいて一貫性のある合成API応答を生成します。最後に、LLM判定器が軌跡をフィルタリングし、データセットの品質を保証します。

研究チームは、情報検索と状態変更の両方のタスクを含む挑戦的なベンチマークであるAppWorldとOfficeBenchで評価を行いました。合成データで微調整されたモデルは顕著な性能向上を示し、実行可能な環境がなくてもAPI呼び出しエージェントのための効果的な教師信号を生成できることを実証しました。この研究は、多様なAPIエコシステムにわたるエージェント訓練のための実用的でスケーラブルなソリューションを提供します。

また、本稿では関連研究として、長期的インタラクションのための強化学習手法や階層的動的プロンプト圧縮技術にも言及しており、これらはLLMエージェントの実用化をさらに推進するものです。