大規模視覺語言モデル（LVLM）は、畫像認識や記述などの知覚タスクで優れた性能を示す一方、複雑な視覚推論においては依然として脆弱さを露呈しています。既存のベンチマークは主に記號數學や科學問題、あるいは単純な視覚タスクに焦點を當てており、信頼性の高い推論システムに不可欠な論理的一貫性の評価が不十分です。この問題に対処するため、研究チームはConVBenchを提案しました。これは複雑な視覚推論に特化した新しいベンチマークで、各畫像に対して論理的に等価な2つの質問をペアとして用意します。質問は「動作と狀態」「複雑な計數」「空間推論」「因果・意図理解」「常識推論」「時間知覚」の6カテゴリに分類され、モデルが同じ內容を異なる表現で問われた際に一貫した回答を生成できるかをテストします。
評価指標として、論理的一貫性（Logical Consistency）とロバスト精度（Robust Accuracy）の2つが定義されました。論理的一貫性は等価な質問ペアに対する回答の一致度を測定し、ロバスト精度は回答の正しさと一貫性を同時に評価します。これにより、モデルの真の推論能力をより正確に把握できます。
さらに、論文はConVLMという新しいフレームワークを導入します。ConVLMはグループ相対方策最適化（GRPO）に基づく強化學習を採用し、新たに設計された一貫性報酬（Consistency Reward）を組み合わせます。この報酬は自動生成された論理的に等価な質問応答ペアを活用し、正確性と一貫性の二重の信號（Dual-Reward Design）でモデルを訓練します。これにより、モデルは等価な質問に対して矛盾のない回答を生成するよう促されます。特筆すべきは、このフレームワークが厳密な正解ラベルを用いる教師あり學習と、ラベルを使用しない教師なし學習の両方で効果的に機能する點です。実験結果は、ConVLMが既存のLVLMと比較して推論のロバスト性と一貫性を大幅に向上させることを示しています。
この研究は、視覚言語モデルの信頼性向上に寄與し、自動運転や醫療畫像診斷など、一貫性が重要な実世界アプリケーションへの応用が期待されます。