SD-MAR：通过合成数据和强化学习实现多图像分析推理
SD-MAR是一个用于训练和评估视觉语言模型（VLM）在多图像分析推理任务上的框架。它通过受控扰动构建成对视觉场景，并生成涉及语义变化归因和定量比较的推理任务。采用GRPO-lite与后向折扣分配（BDA）的强化学习方法，去除KL正则化以增强策略优化。在Qwen2.5-VL-7B和InternVL3-8B上的实验表明，域内准确率提升高达36.95%，且Qwen2.5-VL-7B在SD-MAR基准上超越GPT-4.1。域外泛化性能保持或提升，在MME、MMMU-Pro、MathVista上波动在1%以内，在MMBench上提升达4%。
视觉语言模型（VLM）在图像识别、视觉问答等感知任务中展现了强大的能力，但在需要跨多个视觉状态进行推理的任务中仍然存在明显不足，例如多图像比较、变化检测和多步视觉推理。这些能力对于真实世界的多模态应用至关重要，例如自动驾驶中的场景差异分析、医疗影像中的病变追踪以及机器人操作中的状态变化识别。然而，现有的基准测试很少同时要求显式的视觉比较和分析推理，导致这一研究领域相对空白。为了填补这一空白，研究团队提出了SD-MAR（多图像分析推理合成数据）框架，专门用于训练和评估VLM在多图像分析推理上的表现。
SD-MAR框架的核心思想是通过受控扰动构建成对的视觉场景。具体而言，它从一个基础场景出发，应用语义变化（例如对象的增加、删除或属性修改）或定量变化（例如大小、颜色、位置等数值属性的调整），生成两个视觉上相关但存在差异的场景。然后，自动生成覆盖语义变化归因和定量比较的推理任务，要求模型准确识别变化类型、描述变化的内容，并进行比较。这种合成数据方法能够生成大量的、多样化的训练样本。
在训练方法上，该框架采用了一种改进的强化学习算法——GRPO-lite与后向折扣分配（BDA）。GRPO-lite去除了标准GRPO中的KL正则化项，以鼓励更积极的策略优化，避免模型过于保守。同时，BDA机制将更大的信用分数分配给推理链条中后期的步骤，这些步骤通常直接形成最终的分析结论。这种设计引导模型聚焦于关键的分析决策环节，从而提升推理质量。
研究团队在Qwen2.5-VL-7B和InternVL3-8B两个主流VLM上进行了实验验证。结果显示，使用SD-MAR数据进行GRPO-lite微调后，域内准确率提升最高达到36.95%。特别值得关注的是，Qwen2.5-VL-7B在SD-MAR基准上的表现甚至超越了当前更强的GPT-4.1模型，这证明了合成数据与强化学习结合的有效性。更令人鼓舞的是，模型的域外泛化能力没有退化，反而得到保持或提升：在MME、MMMU-Pro和MathVista等标准基准上的性能波动在1%以内，而在MMBench上获得了高达4%的提升。此外，通过LLM作为评判员的评估发现，微调后的模型在逻辑连贯性和解释质量上均有显著改善。
这项研究的意义在于，它不仅为多图像推理提供了一个可扩展的训练框架，还展示了合成数据与强化学习相结合的巨大潜力。随着进一步的发展，SD-MAR有望推动VLM在更复杂的多模态任务中实现突破，例如多视角三维理解、视频中的长程推理等。对于研究人员和工程师而言，该框架提供了一种成本较低、数据获取方便的训练思路，可能改变未来模型开发的方向。