在人工智慧領域，複雜影像建立與編輯任務通常需要多個生成或編輯模型的協同工作。使用者可能需要合成影像、定位物體、分割區域、編輯所選內容、組合中間資產、讀取文本以及增強最終結果。這類任務促使多模態智慧體從感知增強推理轉向以操作為中心的視覺建立，其中工具必須主動轉換視覺狀態而非僅僅檢查它們。然而，現有的多模態工具使用智慧體大多針對感知、搜尋或特定領域編輯進行最佳化，缺乏大規模的可執行影像建立軌跡監督。
針對這一挑戰，來自研究機構的團隊引入了CanvasCraft，一個為複雜影像建立和編輯設計的大規模多模態工具使用資料集。該資料集包含14萬個完全註釋的可執行軌跡和1萬個強化學習任務規範。這些軌跡覆蓋了從影像合成到最終增強的完整工作流，為訓練智慧體提供了豐富的監督訊號。同時，他們提出了CanvasAgent，一個工具增強的多模態智慧體，透過學習編排異構視覺工具，透過多輪互動完成複雜任務。CanvasAgent的核心能力在於能夠動態選擇和呼叫不同的視覺工具，例如生成模型、分割模型、編輯模型等，並根據中間結果調整後續動作。
CanvasAgent的訓練分為兩個階段。首先，使用監督微調（SFT）讓智慧體學習可執行的推理-動作軌跡，使其掌握基本的工具使用流程。然後，使用組相對策略最佳化（GRPO）進行進一步最佳化，採用結合結果級和過程級訊號的混合獎勵。結果級獎勵評估最終生成影像的視覺質量，過程級獎勵則關注工具選擇的合理性和中間步驟的正確性。這種混合獎勵設計鼓勵智慧體不僅追求最終結果，還要最佳化整個工作流的效率。在推理過程中，CanvasAgent會檢查中間結果、跟蹤視覺資產，並適應不斷變化的視覺狀態，從而動態調整工具決策。
實驗評估了最終影像質量（如FID、CLIP得分等）和軌跡行為（如工具呼叫成功率、步驟效率），結果顯示CanvasAgent在多種複雜任務上均優於基線方法。例如，在需要多步驟編輯的場景中，CanvasAgent能夠更合理地組織工具呼叫，減少不必要的冗餘操作。該研究為多模態智慧體在視覺建立領域的應用提供了新的基準，並展示了大規模資料集和混合最佳化策略的有效性。
總之，CanvasAgent和CanvasCraft的提出標誌著多模態智慧體從感知推理向操作性視覺建立的重要轉變。未來，該方法有望擴充套件到更多樣化的視覺任務，並整合到實際的影像編輯工具中。