人工知能の分野において、複雑な画像作成や編集タスクはしばしば複数の生成モデルや編集モデルの連携を必要とします。ユーザーは画像の合成、オブジェクトの位置特定、領域の分割、選択コンテンツの編集、中間アセットの合成、テキストの読み取り、最終結果の強調など、多様な操作を求められます。このようなタスクは、マルチモーダルエージェントを知覚拡張推論から操作中心の視覚作成へとシフトさせ、ツールは単に検査するのではなく積極的に視覚状態を変換しなければなりません。しかし、既存のマルチモーダルツール使用エージェントは主に知覚、検索、または特定領域の編集に最適化されており、実行可能な画像作成軌跡に対する大規模な監督が不足しています。
この課題に対処するため、研究者グループは複雑な画像作成と編集のための大規模マルチモーダルツール使用データセットCanvasCraftを導入しました。このデータセットには14万の完全に注釈付けされた実行可能軌跡と1万の強化学習タスク仕様が含まれています。これらの軌跡は画像合成から最終強調に至るまでの完全なワークフローをカバーし、エージェントの豊富な教師信号を提供します。同時に、異種のビジュアルツールをマルチターンインタラクションを通じてオーケストレーションすることを学習するツール拡張型マルチモーダルエージェントCanvasAgentが提案されました。CanvasAgentの核心能力は、生成モデル、セグメンテーションモデル、編集モデルなどの異なるビジュアルツールを動的に選択・呼び出し、中間結果に応じて後続のアクションを調整できる点にあります。
CanvasAgentのトレーニングは2段階で行われます。最初に教師ありファインチューニング（SFT）で実行可能な推論-行動軌跡を学習し、基本的なツール使用フローを習得します。次にグループ相対ポリシー最適化（GRPO）を用いて、結果レベルとプロセスレベルの信号を組み合わせたハイブリッド報酬で最適化されます。結果レベル報酬は最終生成画像の視覚品質を評価し、プロセスレベル報酬はツール選択の合理性や中間ステップの正確性を評価します。このハイブリッド報酬設計により、エージェントは最終結果だけでなくワークフロー全体の効率も最適化するよう促されます。ロールアウト中、CanvasAgentは中間結果を検査し、ビジュアルアセットを追跡し、進化する視覚状態に合わせてツール決定を適応させます。
実験では、最終画像品質（FID、CLIPスコアなど）と軌跡行動（ツール呼び出し成功率、ステップ効率など）の両方が評価され、CanvasAgentが複数の複雑なタスクでベースラインメソッドを上回ることが示されました。例えば、複数ステップの編集が必要なシナリオでは、CanvasAgentはツール呼び出しをより適切に整理し、不必要な冗長操作を削減できました。この研究はマルチモーダルエージェントの視覚作成分野への応用に新たなベンチマークを提供し、大規模データセットとハイブリッド最適化戦略の有効性を示しています。
結論として、CanvasAgentとCanvasCraftの提案は、マルチモーダルエージェントを知覚推論から操作的な視覚作成へと移行させる重要な一歩です。将来的には、この手法はより多様な視覚タスクに拡張され、実際の画像編集ツールに統合される可能性があります。