持续提示：评估视觉语言模型中的重复苏格拉底式提问

研究者提出了一项名为“Just Keep Prompting”（JKP）的多轮评估框架，用于衡量视觉语言模型（VLM）在用户反复质疑、挑战或否定其回答时的认知稳定性。该框架通过三种策略对模型进行最多10轮的后续追问：对抗性否定（反复拒绝模型的答案）、纯苏格拉底式质询（反复要求模型重新评估其确定性），以及上下文感知苏格拉底式总结（将模型先前的推理反射回来，再要求其重新考虑）。

研究选取了GPT-4o、Gemini 2.5 Pro和Qwen3-VL-30B三个模型，在STAR基准测试的子集上进行了720次多轮运行实验。结果显示，从第0轮到第10轮，模型的总体准确率变化不大，但轨迹层面的分析揭示了显著的内部不稳定性：正确的答案可能退化，错误的答案可能恢复，许多运行中出现反复的答案翻转。重复提示的收益有限，且往往成为不稳定性因素而非推理辅助。

不同模型表现出巨大的差异：Qwen3-VL-30B取得了最高的最终准确率，但在直接矛盾下会变得自信满满地给出错误答案；Gemini 2.5 Pro相对稳定，但消耗更多的token；GPT-4o则最为脆弱，表现出持续的振荡。这些发现表明，多轮VLM评估不仅捕捉到额外的推理能力，更重要的是揭示了模型在压力下的响应模式——即模型如何在视觉基础、校准和对话合规之间进行权衡。

该论文由Shayda Moezzi等五位作者于2026年5月1日提交，并发布于arXiv，编号为2607.14099。研究属于计算与语言（cs.CL）、人工智能（cs.AI）和计算机视觉与模式识别（cs.CV）领域。这一工作对于部署VLM到实际应用场景具有重要意义，因为它揭示了模型在持续对话压力下的脆弱性，为开发者选择模型和设计交互系统提供了重要参考。