在人工智能領域，複雜圖像創建與編輯任務通常需要多個生成或編輯模型的協同工作。用户可能需要合成圖像、定位物體、分割區域、編輯所選內容、組合中間資產、讀取文本以及增強最終結果。這類任務促使多模態智能體從感知增強推理轉向以操作為中心的視覺創建，其中工具必須主動轉換視覺狀態而非僅僅檢查它們。然而，現有的多模態工具使用智能體大多針對感知、搜索或特定領域編輯進行優化，缺乏大規模的可執行圖像創建軌跡監督。
針對這一挑戰，來自研究機構的團隊引入了CanvasCraft，一個為複雜圖像創建和編輯設計的大規模多模態工具使用數據集。該數據集包含14萬個完全註釋的可執行軌跡和1萬個強化學習任務規範。這些軌跡覆蓋了從圖像合成到最終增強的完整工作流，為訓練智能體提供了豐富的監督信號。同時，他們提出了CanvasAgent，一個工具增強的多模態智能體，通過學習編排異構視覺工具，通過多輪交互完成複雜任務。CanvasAgent的核心能力在於能夠動態選擇和調用不同的視覺工具，例如生成模型、分割模型、編輯模型等，並根據中間結果調整後續動作。
CanvasAgent的訓練分為兩個階段。首先，使用監督微調（SFT）讓智能體學習可執行的推理-動作軌跡，使其掌握基本的工具使用流程。然後，使用組相對策略優化（GRPO）進行進一步優化，採用結合結果級和過程級信號的混合獎勵。結果級獎勵評估最終生成圖像的視覺質量，過程級獎勵則關注工具選擇的合理性和中間步驟的正確性。這種混合獎勵設計鼓勵智能體不僅追求最終結果，還要優化整個工作流的效率。在推理過程中，CanvasAgent會檢查中間結果、跟蹤視覺資產，並適應不斷變化的視覺狀態，從而動態調整工具決策。
實驗評估了最終圖像質量（如FID、CLIP得分等）和軌跡行為（如工具調用成功率、步驟效率），結果顯示CanvasAgent在多種複雜任務上均優於基線方法。例如，在需要多步驟編輯的場景中，CanvasAgent能夠更合理地組織工具調用，減少不必要的冗餘操作。該研究為多模態智能體在視覺創建領域的應用提供了新的基準，並展示了大規模數據集和混合優化策略的有效性。
總之，CanvasAgent和CanvasCraft的提出標誌着多模態智能體從感知推理向操作性視覺創建的重要轉變。未來，該方法有望擴展到更多樣化的視覺任務，並集成到實際的圖像編輯工具中。