強化学習（RL）による微調整は、大規模言語モデル（LLM）の推論集約型タスクにおける性能を向上させる主要な技術となっており、視覚言語モデル（VLM）への拡張が試みられている。RLで調整されたVLMは視覚推論ベンチマークで改善を示すものの、視覚的基盤の弱さ、幻覚、テキスト手がかりへの過度の依存といった脆弱性が残っている。最近の研究はこれらの脆弱性を深く調査し、現在のオープンソースRL微調整手法に内在する問題を明らかにした。
研究チームは、誤解を招くキャプションや誤った思考連鎖（CoT）トレースといった単純で制御されたテキスト摂動を導入してモデルのロバスト性をテストした。実験結果は、これらの摂動がモデルのロバスト性と信頼性を大幅に低下させることを示した。さらに注目すべきは、CoTの一貫性を考慮すると、これらの悪影響がオープンソースのマルチモーダル推論モデルでより顕著になることである。対照的に、クローズドモデルは同様の失敗モードを示すものの、明らかに高いロバスト性と推論一貫性を維持している。この対比は、オープンソースとクローズドモデルの間のギャップが、タスク固有の限界ではなく、現在のオープンソースRL微調整手法の欠陥を反映していることを示唆している。
これらの脆弱性をさらに理解するため、研究チームはRL微調整のダイナミクスを分析し、精度と忠実性の間のトレードオフを発見した。微調整はベンチマークの精度を向上させる一方で、付随するCoTの信頼性と文脈変化に対するロバスト性を同時に損なう可能性がある。言い換えれば、モデルがより高い精度を追求する過程で、推論プロセスの忠実性と安定性が犠牲になる可能性がある。
研究はまた、これらの問題を緩和する可能な経路も探求した。敵対的拡張はロバスト性を改善できるが、それ自体では忠実性のドリフトを防ぐことはできない。忠実性を意識した報酬メカニズムを導入すると、回答と推論の間の整合性を回復できるが、敵対的拡張と組み合わせると、トレーニングプロセスがショートカット戦略に崩壊するリスクがあり、ロバスト性の達成は依然として困難である。これらの発見は、精度のみに焦点を当てた評価方法の限界を強調し、正確性、ロバスト性、視覚的基盤に基づく推論の忠実性を同時に重視するトレーニングと評価プロトコルの開発を呼びかけている。
この研究はハーバード大学やOpenAIなどの機関の研究者が協力して実施し、一部の作業はApple在籍中に行われた。論文は2026年7月に発表され、RL微調整VLMの限界について重要な洞察を提供し、将来のマルチモーダル推論モデルの改善に向けた方向性を示している。