CanvasAgent：通过视觉工具编排实现复杂图像创建与编辑
本文介绍了CanvasAgent，一种工具增强的多模态智能体，能够通过多轮交互编排多种视觉工具以完成复杂的图像创建和编辑任务。同时，作者提出了CanvasCraft数据集，包含14万条可执行轨迹和1万条强化学习任务规范。该智能体首先通过监督微调学习推理-动作轨迹，然后利用混合奖励的组相对策略优化进行优化，在推理过程中动态调整工具选择。实验证明，该方法在最终图像质量和轨迹行为上均表现出色。
在人工智能领域，复杂图像创建与编辑任务通常需要多个生成或编辑模型的协同工作。用户可能需要合成图像、定位物体、分割区域、编辑所选内容、组合中间资产、读取文本以及增强最终结果。这类任务促使多模态智能体从感知增强推理转向以操作为中心的视觉创建，其中工具必须主动转换视觉状态而非仅仅检查它们。然而，现有的多模态工具使用智能体大多针对感知、搜索或特定领域编辑进行优化，缺乏大规模的可执行图像创建轨迹监督。
针对这一挑战，来自研究机构的团队引入了CanvasCraft，一个为复杂图像创建和编辑设计的大规模多模态工具使用数据集。该数据集包含14万个完全注释的可执行轨迹和1万个强化学习任务规范。这些轨迹覆盖了从图像合成到最终增强的完整工作流，为训练智能体提供了丰富的监督信号。同时，他们提出了CanvasAgent，一个工具增强的多模态智能体，通过学习编排异构视觉工具，通过多轮交互完成复杂任务。CanvasAgent的核心能力在于能够动态选择和调用不同的视觉工具，例如生成模型、分割模型、编辑模型等，并根据中间结果调整后续动作。
CanvasAgent的训练分为两个阶段。首先，使用监督微调（SFT）让智能体学习可执行的推理-动作轨迹，使其掌握基本的工具使用流程。然后，使用组相对策略优化（GRPO）进行进一步优化，采用结合结果级和过程级信号的混合奖励。结果级奖励评估最终生成图像的视觉质量，过程级奖励则关注工具选择的合理性和中间步骤的正确性。这种混合奖励设计鼓励智能体不仅追求最终结果，还要优化整个工作流的效率。在推理过程中，CanvasAgent会检查中间结果、跟踪视觉资产，并适应不断变化的视觉状态，从而动态调整工具决策。
实验评估了最终图像质量（如FID、CLIP得分等）和轨迹行为（如工具调用成功率、步骤效率），结果显示CanvasAgent在多种复杂任务上均优于基线方法。例如，在需要多步骤编辑的场景中，CanvasAgent能够更合理地组织工具调用，减少不必要的冗余操作。该研究为多模态智能体在视觉创建领域的应用提供了新的基准，并展示了大规模数据集和混合优化策略的有效性。
总之，CanvasAgent和CanvasCraft的提出标志着多模态智能体从感知推理向操作性视觉创建的重要转变。未来，该方法有望扩展到更多样化的视觉任务，并集成到实际的图像编辑工具中。