SD-MAR：透過合成資料和強化學習實現多影像分析推理
SD-MAR是一個用於訓練和評估視覺語言模型（VLM）在多影像分析推理任務上的框架。它透過受控擾動構建成對視覺場景，並生成涉及語義變化歸因和定量比較的推理任務。採用GRPO-lite與後向折扣分配（BDA）的強化學習方法，去除KL正則化以增強策略最佳化。在Qwen2.5-VL-7B和InternVL3-8B上的實驗表明，域內準確率提升高達36.95%，且Qwen2.5-VL-7B在SD-MAR基準上超越GPT-4.1。域外泛化效能保持或提升，在MME、MMMU-Pro、MathVista上波動在1%以內，在MMBench上提升達4%。
視覺語言模型（VLM）在影像識別、視覺問答等感知任務中展現了強大的能力，但在需要跨多個視覺狀態進行推理的任務中仍然存在明顯不足，例如多影像比較、變化檢測和多步視覺推理。這些能力對於真實世界的多模態應用至關重要，例如自動駕駛中的場景差異分析、醫療影像中的病變追蹤以及機器人操作中的狀態變化識別。然而，現有的基準測試很少同時要求顯式的視覺比較和分析推理，導致這一研究領域相對空白。為了填補這一空白，研究團隊提出了SD-MAR（多影像分析推理合成資料）框架，專門用於訓練和評估VLM在多影像分析推理上的表現。
SD-MAR框架的核心思想是透過受控擾動構建成對的視覺場景。具體而言，它從一個基礎場景出發，應用語義變化（例如物件的增加、刪除或屬性修改）或定量變化（例如大小、顏色、位置等數值屬性的調整），生成兩個視覺上相關但存在差異的場景。然後，自動生成覆蓋語義變化歸因和定量比較的推理任務，要求模型準確識別變化型別、描述變化的內容，並進行比較。這種合成資料方法能夠生成大量的、多樣化的訓練樣本。
在訓練方法上，該框架採用了一種改進的強化學習演算法——GRPO-lite與後向折扣分配（BDA）。GRPO-lite去除了標準GRPO中的KL正則化項，以鼓勵更積極的策略最佳化，避免模型過於保守。同時，BDA機制將更大的信用分數分配給推理鏈條中後期的步驟，這些步驟通常直接形成最終的分析結論。這種設計引導模型聚焦於關鍵的分析決策環節，從而提升推理質量。
研究團隊在Qwen2.5-VL-7B和InternVL3-8B兩個主流VLM上進行了實驗驗證。結果顯示，使用SD-MAR資料進行GRPO-lite微調後，域內準確率提升最高達到36.95%。特別值得關注的是，Qwen2.5-VL-7B在SD-MAR基準上的表現甚至超越了當前更強的GPT-4.1模型，這證明了合成資料與強化學習結合的有效性。更令人鼓舞的是，模型的域外泛化能力沒有退化，反而得到保持或提升：在MME、MMMU-Pro和MathVista等標準基準上的效能波動在1%以內，而在MMBench上獲得了高達4%的提升。此外，透過LLM作為評判員的評估發現，微調後的模型在邏輯連貫性和解釋質量上均有顯著改善。
這項研究的意義在於，它不僅為多影像推理提供了一個可擴充套件的訓練框架，還展示了合成資料與強化學習相結合的巨大潛力。隨著進一步的發展，SD-MAR有望推動VLM在更復雜的多模態任務中實現突破，例如多視角三維理解、影片中的長程推理等。對於研究人員和工程師而言，該框架提供了一種成本較低、資料獲取方便的訓練思路，可能改變未來模型開發的方向。