SD-MAR：合成データと強化学習によるマルチ画像分析推論
SD-MARは、視覚言語モデル（VLM）のマルチ画像分析推論タスクにおける訓練と評価のためのフレームワークです。制御された摂動によりペアの視覚シナリオを構築し、意味変化の帰属や定量的比較にわたる推論タスクを生成します。GRPO-liteと後方割引配分（BDA）を用いた強化学習手法を採用し、KL正則化を除去してポリシー最適化を強化します。Qwen2.5-VL-7BとInternVL3-8Bでの実験では、ドメイン内精度が最大36.95%向上し、Qwen2.5-VL-7BはSD-MARベンチマークでGPT-4.1を上回りました。ドメイン外汎化性能は維持または向上し、MME、MMMU-Pro、MathVistaでは1%以内、MMBenchでは最大4%の改善を示しました。LLM-as-judge評価では、両モデルで論理的整合性と説明品質の一貫した改善が確認されました。
視覚言語モデル（VLM）は、画像認識や視覚的質問応答などの知覚タスクで優れた能力を示す一方、複数の画像にわたる分析推論を必要とするタスクでは依然として限界があります。例えば、マルチ画像比較、変化検出、多段階の視覚推論などがその例です。これらの能力は、自動運転におけるシーン差異分析、医療画像における病変追跡、ロボット操作における状態変化認識など、現実世界のマルチモーダルアプリケーションで極めて重要です。しかし、既存のベンチマークでは明示的な視覚比較と分析推論の両方を要求するものがほとんどなく、この領域は未開拓のままです。このギャップを埋めるため、研究チームはSD-MAR（合成データによるマルチ画像分析推論）フレームワークを導入しました。
SD-MARの核心は、制御された摂動を通じてペアの視覚シナリオを構築することです。具体的には、基本シーンから出発し、意味的変化（オブジェクトの追加、削除、属性変更など）または量的変化（サイズ、色、位置などの数値属性の調整）を適用して、視覚的に関連しながらも差異のある2つのシーンを生成します。そして、意味変化の帰属や定量的比較をカバーする推論タスクを自動生成し、モデルに変化の種類を正確に識別させ、変化の内容を記述させ、比較させます。この合成データアプローチにより、多様で大量の訓練サンプルを生成できます。
訓練手法としては、改良された強化学習アルゴリズムであるGRPO-liteと後方割引配分（BDA）を採用しています。GRPO-liteは標準GRPOからKL正則化項を除去し、より積極的なポリシー最適化を促進します。同時に、BDAメカニズムは推論連鎖の後半のステップ（通常、最終的な分析結論を形成するステップ）により大きなクレジットを割り当てます。この設計により、モデルは重要な分析決定のステップに焦点を当て、推論品質が向上します。
研究チームは、Qwen2.5-VL-7BとInternVL3-8Bの2つの主流VLMで実験を行いました。結果、SD-MARデータによるGRPO-lite微調整により、ドメイン内精度が最大36.95%向上しました。特筆すべきは、Qwen2.5-VL-7BがSD-MARベンチマークでGPT-4.1を上回ったことです。これは合成データと強化学習の組み合わせの有効性を示しています。さらに、ドメイン外汎化性能は維持または向上し、MME、MMMU-Pro、MathVistaでは1%以内の変動、MMBenchでは最大4%の改善が見られました。また、LLM-as-judge評価では、両モデルで論理的整合性と説明品質の一貫した改善が確認されました。
この研究の意義は、マルチ画像推論のための拡張可能な訓練フレームワークを提供するだけでなく、合成データと強化学習の組み合わせの大きな可能性を示した点にあります。今後の発展により、SD-MARは多視点三次元理解やビデオ内の長距離推論など、より複雑なマルチモーダルタスクへのVLM応用を促進することが期待されます。研究者やエンジニアにとって、このフレームワークは低コストでデータ取得が容易な訓練アプローチを提供し、将来のモデル開発の方向性を変える可能性があります。