强化学习（RL）微调已成为提升大语言模型（LLM）在推理密集型任务上表现的关键技术，这一成功也推动了将其扩展到视觉语言模型（VLM）的尝试。尽管经过RL调优的VLM在视觉推理基准上有所进步，但它们仍然容易受到视觉基础薄弱、幻觉以及对文本线索过度依赖的影响。一项最新研究深入探讨了这些脆弱性，并揭示了当前开源RL微调方法中存在的深层问题。
研究人员通过引入简单且受控的文本扰动——例如误导性的图像描述或错误的思维链（CoT）轨迹——来测试模型的鲁棒性。实验结果表明，这些扰动会导致模型的鲁棒性和置信度大幅下降。更值得注意的是，当考虑CoT一致性时，这些负面影响在开源多模态推理模型中更为显著。相比之下，闭源模型虽然也表现出类似的失败模式，但保持了明显更高的鲁棒性和推理一致性。这一对比表明，开源与闭源模型之间的差距反映了当前开源RL微调方法的不足，而非任务本身的固有局限性。
为了进一步理解这些脆弱性，研究团队分析了RL微调的动态过程，并发现了一个准确率与忠实度之间的权衡关系：微调虽然提高了基准测试的准确率，但可能同时侵蚀伴随的CoT的可靠性及其对上下文变化的鲁棒性。换句话说，模型在追求更高准确率的过程中，其推理过程的忠实度和稳定性可能被牺牲。
研究还探索了缓解这些问题的可能途径。虽然对抗性增强可以提高鲁棒性，但它本身并不能防止忠实度漂移。引入忠实度感知的奖励机制可以恢复答案与推理之间的一致性，但当与对抗增强结合使用时，训练过程可能崩溃为 shortcut 策略，鲁棒性仍然难以实现。这些发现共同强调了仅以准确率为导向的评估方法的局限性，并呼吁开发同时强调正确性、鲁棒性和视觉基础推理忠实度的训练与评估协议。
该研究由来自哈佛大学、OpenAI等机构的研究人员合作完成，部分工作是在苹果公司期间进行的。论文发表于2026年7月，为理解RL微调VLM的局限性提供了重要见解，并为未来改进多模态推理模型指明了方向。