大規模視覚言語モデル（LVLM）は、画像認識や記述などの知覚タスクで優れた性能を示す一方、複雑な視覚推論においては依然として脆弱さを露呈しています。既存のベンチマークは主に記号数学や科学問題、あるいは単純な視覚タスクに焦点を当てており、信頼性の高い推論システムに不可欠な論理的一貫性の評価が不十分です。この問題に対処するため、研究チームはConVBenchを提案しました。これは複雑な視覚推論に特化した新しいベンチマークで、各画像に対して論理的に等価な2つの質問をペアとして用意します。質問は「動作と状態」「複雑な計数」「空間推論」「因果・意図理解」「常識推論」「時間知覚」の6カテゴリに分類され、モデルが同じ内容を異なる表現で問われた際に一貫した回答を生成できるかをテストします。
評価指標として、論理的一貫性（Logical Consistency）とロバスト精度（Robust Accuracy）の2つが定義されました。論理的一貫性は等価な質問ペアに対する回答の一致度を測定し、ロバスト精度は回答の正しさと一貫性を同時に評価します。これにより、モデルの真の推論能力をより正確に把握できます。
さらに、論文はConVLMという新しいフレームワークを導入します。ConVLMはグループ相対方策最適化（GRPO）に基づく強化学習を採用し、新たに設計された一貫性報酬（Consistency Reward）を組み合わせます。この報酬は自動生成された論理的に等価な質問応答ペアを活用し、正確性と一貫性の二重の信号（Dual-Reward Design）でモデルを訓練します。これにより、モデルは等価な質問に対して矛盾のない回答を生成するよう促されます。特筆すべきは、このフレームワークが厳密な正解ラベルを用いる教師あり学習と、ラベルを使用しない教師なし学習の両方で効果的に機能する点です。実験結果は、ConVLMが既存のLVLMと比較して推論のロバスト性と一貫性を大幅に向上させることを示しています。
この研究は、視覚言語モデルの信頼性向上に寄与し、自動運転や医療画像診断など、一貫性が重要な実世界アプリケーションへの応用が期待されます。